[論文レビュー] Minimal Achievable Sufficient Statistic Learning

Milan Cvitkovic, Günther Koliander|arXiv (Cornell University)|May 19, 2019

Face and Expression Recognition被引用数 7

ひとこと要約

この論文は、与えられた関数クラス内での最小十分統計量の学習を最適化する新しい訓練手法である Minimal Achievable Sufficient Statistic (MASS) 学習を紹介する。また、決定的かつ連続的な変数の間の意味のある分析を可能にする情報理論的測度である保存微分情報（CDI）を提案し、MASSで訓練されたモデルが、最小限の情報損失を維持しながら、教師あり学習および不確実性の定量化において競争力のある性能を達成することを示している。

ABSTRACT

We introduce Minimal Achievable Sufficient Statistic (MASS) Learning, a training method for machine learning models that attempts to produce minimal sufficient statistics with respect to a class of functions (e.g. deep networks) being optimized over. In deriving MASS Learning, we also introduce Conserved Differential Information (CDI), an information-theoretic quantity that - unlike standard mutual information - can be usefully applied to deterministically-dependent continuous random variables like the input and output of a deep network. In a series of experiments, we show that deep networks trained with MASS Learning achieve competitive performance on supervised learning and uncertainty quantification benchmarks.

研究の動機と目的

• 標準的な相互情報量が決定的かつ連続的な写像において無限大をとるため、深層学習における最小十分統計量の学習という課題に取り組むこと。
• 深層ネットワークに意味的に適用可能な、理論的裏付けのある情報理論的代替指標を、相互情報量の代替として開発すること。
• 実用的な仮説クラス（例えば深層ニューラルネットワークなど）内の関数の中で最小である、最小達成可能な十分統計量を学習するようモデルを促す訓練目的を設計すること。
• 原理的な表現学習を通じて、深層学習における不確実性の定量化と一般化を改善すること。

提案手法

• Conserved Differential Information (CDI) を定義し、$ C(X,f(X)) = H(f(X)) - \mathbb{E}_X[\log J_f(X)] $ と表す。ここで $ J_f(X) $ はネットワーク変換のヤコビアン行列式を表す。
• CDI を、決定的かつ連続的な写像を含む状況において、標準的な相互情報量の代替として使用する。
• MASS 学習を訓練目的として提案し、$ \mathcal{L}_{\text{MASS}} = H(Y|f(X)) + \beta H(f(X)) - \beta \mathbb{E}_X[\log J_f(X)] $ を最小化することで、予測精度、表現エントロピー、非可逆性のバランスをとる。
• 条件付きエントロピー $ H(Y|f(X)) $ の推定に変分近似 $ q_\phi(f_\theta(x)|y) $ を使用し、微分可能な最適化を可能にする。
• 最適化問題に対してラグランジュ緩和を適用し、関数クラス内での十分性と最小性を強制する、取り扱いやすい目的関数を導出する。
• 再パラメトリゼーショントリックとモンテカルロ推定を用いて、確率的勾配降下法を用いたエンドツーエンドのモデル訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 標準的な相互情報量が発散する決定的かつ連続的な深層ネットワークにおいて、保存微分情報（CDI）は意味的で有限な情報伝達測度を提供できるか？
• RQ2 CDI を根拠とする損失を最小化するように深層ネットワークを訓練することは、深層ニューラルネットワークのクラス内における最小十分統計量の表現を達成するか？
• RQ3 分類精度、一般化、不確実性定量化という観点から、MASS 学習は標準的なクロスエントロピー訓練および変分インファーレンス（VIB）と比べてどのように異なるか？
• RQ4 明示的な不確実性モデリングなしに、MASS 学習は表現を暗黙的に正則化し、不確実性キャリブレーションを向上させる程度はどの程度か？
• RQ5 深層学習の性能において、最小と最小達成可能な十分統計量の区別は実用的に意味があるのか？

主な発見

• MASS 学習は、CIFAR-10 において競争力あるテスト精度を達成し、最高で $ 50.2 \pm 1.0\% $ のテスト精度を記録した。これは標準的なクロスエントロピー訓練と同等の性能である。
• 不確実性定量化が著しく向上し、$ \beta = 110^{-4} $ の条件下で $ \max_i q_\phi(f_\theta(x)|y_i) $ の値が $ \mathbf{0.72 \pm 0.08} $ にまで上昇し、よりキャリブレートされた予測不確実性を示している。
• VIB や SoftmaxCE と比較して、MASS 学習で訓練されたモデルは、表現のエントロピーが低く（$ 0.48 \pm 0.04 $）、ヤコビアン行列式損失が高くなる（$ \mathbf{0.66 \pm 0.09} $）傾向にあり、より構造的かつ最小の表現が得られていることが示された。
• MASS 学習における損失成分（エントロピー、ヤコビアン、条件付きエントロピー）は、標準的なクロスエントロピー訓練とは異なる方法で変化しており、異なるインダクティブバイアスを示していることがわかった。
• 類似した精度を示すにもかかわらず、SoftmaxCE で訓練されたモデルは、訓練過程におけるエントロピーとヤコビアン項の軌道が乖離していることから、暗黙的に MASS 学習を実行していないことが示された。
• 不確実性定量化ベンチマークにおいて、予測キャリブレーションと不確実性推定の観点で、VIB や標準的な訓練法を上回る優れた性能を示した。