[論文レビュー] How (Not) To Train Your Neural Network Using the Information Bottleneck Principle.

Rana Ali Amjad, Bernhard C. Geiger|arXiv (Cornell University)|Feb 27, 2018

Stochastic Gradient Optimization Techniques被引用数 21

ひとこと要約

この論文は、決定的ネットワークにおける情報ボトルネック（IB）原理を用いた深層ニューラルネットワークの学習が根本的に欠陥を有することを示している。なぜなら、IB機能がほとんどすべての重み行列に対して無限大になり、双対写像のもとで不変となるため、最適化が不適切になり、分類の重要な性質を捉えることができないからである。著者らは、唯一の解決策は確率的ネットワークまたは修正されたコスト関数であると主張しており、報告されたIBの成功はIBフレームワークそのものではなく、こうした適応策に起因していると示唆している。

ABSTRACT

In this theory paper, we investigate training deep neural networks (DNNs) for classification via minimizing the information bottleneck (IB) functional. We show that, even if the joint distribution between continuous feature variables and the discrete class variable is known, the resulting optimization problem suffers from two severe issues: First, for deterministic DNNs, the IB functional is infinite for almost all weight matrices, making the optimization problem ill-posed. Second, the invariance of the IB functional under bijections prevents it from capturing desirable properties for classification, such as robustness, architectural simplicity, and simplicity of the learned representation. We argue that these issues are partly resolved for stochastic DNNs, DNNs that include a (hard or soft) decision rule, or by replacing the IB functional with related, but more well-behaved cost functions. We conclude that recent successes reported about training DNNs using the IB framework must be attributed to such solutions. As a side effect, our results imply limitations of the IB framework for the analysis of DNNs.

研究の動機と目的

• 深層ニューラルネットワークを情報ボトルネック（IB）機能の最小化によって学習可能かどうかを調査すること。
• 決定的深層ニューラルネットワークへのIB原則の適用における根本的な理論的問題を特定すること。
• IB機能が分類タスクにおける頑健性や表現の単純さといった望ましい性質をなぜ捉えられないかを分析すること。
• 確率的ネットワークや代替コスト関数がIBフレームワークの限界をどのように解消できるかを検討すること。
• 理論的欠陥を有するにもかかわらず、IBフレームワークが深層ニューラルネットワークの学習分析において果たす役割を明確にすること。

提案手法

• 連続的特徴量と離散的クラスの間の既知の同時分布におけるIB機能の分析。
• 決定的DNNにおけるほとんどすべての重み行列に対してIB機能が無限大になることを証明し、最適化問題が不適切であることを示すこと。
• ネットワーク重みの双対写像のもとでIB機能が不変であることを実証し、意味のある誘導的バイアスを強制する能力を損なうことを明らかにすること。
• DNNにおける確率性（例：ハードまたはソフトな意思決定ルール）がIB最適化問題の適切さに与える影響を評価すること。
• DNNの学習に適した、標準IB機能よりも良好に振る舞う代替コスト関数の提案。
• 理論的分析を用いて、IB機能とその修正版の最適化安定性および誘導的バイアスの観点での比較。

実験結果

リサーチクエスチョン

• RQ1 なぜ情報ボトルネック機能が決定的深層ニューラルネットワークにおいて無限大になるのか？
• RQ2 IB機能が重みの双対写像に対して不変であることは、頑健で単純な表現を学習する能力にどのように影響するか？
• RQ3 IBフレームワークが深層学習における適切な最適化をもたらすために満たすべき条件は何か？
• RQ4 ニューラルネットワークにおける確率性がIBアプローチの理論的欠陥を解消できるか？
• RQ5 最近のIBベースの学習法の成功は、標準IB機能を超えた修正にどの程度依存しているのか？

主な発見

• 決定的深層ニューラルネットワークにおけるほとんどすべての重み行列に対して、情報ボトルネック機能は無限大であり、最適化問題は不適切である。
• IB機能はネットワーク重みの双対写像に対して不変であり、これによりアーキテクチャの単純さや頑健性を捉えることができない。
• 特にハードまたはソフトな意思決定ルールを備えた確率的深層ニューラルネットワークは、IB機能の不適切さと不変性の問題を解消する。
• 報告されたIBベースの学習法の成功は、おそらくIB原則そのものではなく、確率性や代替コスト関数の使用に起因している。
• 標準IBフレームワークは、特に決定的設定において、深層ニューラルネットワークの分析や学習に根本的に限界を有する。
• IB機能よりも良好に振る舞う代替コスト関数が、安定的で意味のある学習を実現するために不可欠である。