[論文レビュー] Modeling Uncertainty by Learning a Hierarchy of Deep Neural Connections

Raanan Y. Rohekar, Yaniv Gurwicz+2 more|arXiv (Cornell University)|Jan 1, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、生成的ネットワークと識別的ネットワークの間で接続パターンを共有することにより、不確実性をモデル化する階層的ディープニューラルネットワークアーキテクチャを提案する。これにより、不確実性推定のための効率的な事後分布サンプリングが可能となり、最先端のベースラインを上回るキャリブレーション性能と分布外検出性能が得られる。

ABSTRACT

Modeling uncertainty in deep neural networks, despite recent important advances, is still an open problem. Bayesian neural networks are a powerful solution, where the prior over network weights is a design choice, often a normal distribution or other distribution encouraging sparsity. However, this prior is agnostic to the generative process of the input data, which might lead to unwarranted generalization for out-of-distribution tested data. We suggest the presence of a confounder for the relation between the input data and the discriminative function given the target label. We propose an approach for modeling this confounder by sharing neural connectivity patterns between the generative and discriminative networks. This approach leads to a new deep architecture, where networks are sampled from the posterior of local causal structures, and coupled into a compact hierarchy. We demonstrate that sampling networks from this hierarchy, proportionally to their posterior, is efficient and enables estimating various types of uncertainties. Empirical evaluations of our method demonstrate significant improvement compared to state-of-the-art calibration and out-of-distribution detection methods.

研究の動機と目的

• 入力データの生成プロセスを無視する事前分布のため、ベイジアンニューラルネットワークが分布外データに一般化しにくいという制限を解消すること。
• ターゲットラベルが与えられたもとで、入力データと識別関数の関係に影響を与える交絡要因を特定し、それをモデル化すること。
• 局所的な因果構造の事後分布からのサンプリングを可能とする深層アーキテクチャを開発し、不確実性をよりよく表現すること。
• コンactな階層的ネットワークの事後分布からのサンプリングを通じて、複数の不確実性タイプを効率的に推定すること。
• 既存の手法と比較して、モデルのキャリブレーション性能と分布外検出性能を向上させること。

提案手法

• 生成的ネットワークと識別的ネットワークが神経接続パターンを共有する階層的アーキテクチャを導入し、入力-ラベル関係における交絡要因をモデル化する。
• 局所的な因果構造における事後分布を定式化し、モデル構造の不確実性を反映するネットワークサンプリングを可能にする。
• サンプリングされたネットワークをコンパクトな階層に結合し、事後確率に比例する重み付きサンプリングにより、効率的な推論を実現する。
• 構造的共有を活用して、事前の帰納的バイアスをデータの生成プロセスと一致させ、モデルのロバストネスを向上させる。
• 各ネットワークが因果構造の妥当な配置を表すように、複数のサンプルネットワークの予測を集約することで不確実性推定を実現する。
• 明示的な事後分布近似を必要とせず、学習された接続の階層からの構造的サンプリングに依存する。

実験結果

リサーチクエスチョン

• RQ1 データの生成プロセスに関する知識を組み込むことで、ディープニューラルネットワークにおける不確実性推定をどのように改善できるか？
• RQ2 交絡要因は入力データと識別関数の関係において果たす役割は何か？ そして、効果的にモデル化するにはどうすればよいか？
• RQ3 生成的ネットワークと識別的ネットワークの間で接続パターンを共有することは、より良い不確実性の定量化とロバストネスをもたらすか？
• RQ4 階層的ネットワーク構造からの事後分布サンプリングは、標準的なベイジアンニューラルネットワーク推論と比較して、キャリブレーション性能とOOD検出性能においてどのように異なるか？
• RQ5 高コストな事後分布近似を伴わず、コンパクトで構造的なネットワークの階層が、不確実性を効率的に表現できるか？

主な発見

• 提案手法は、最先端のベイジアンニューラルネットワーク手法と比較して、モデルのキャリブレーション性能において顕著な向上を達成した。
• 分布外検出において優れた性能を示し、OODサンプルにおける誤検出（偽陽性）を低減した。
• 階層的ネットワーク構造からの事後分布サンプリングにより、エピステミック的不確実性やデータ分布不確実性を含む複数の不確実性タイプの効果的推定が可能になった。
• 共有接続メカニズムにより、データの背後にある生成プロセスと一致する事前の帰納的バイアスが得られ、分布外データに対する一般化性能が向上した。
• 計算コストが低く抑えられ、複雑な事後分布近似を伴わず、構造的サンプリングによる実用的な不確実性推定が可能になった。
• 実験的評価により、階層的アーキテクチャが不確実性の定量化とロバストネスの両面で、既存手法を上回ることが確認された。