[論文レビュー] "Dependency Bottleneck" in Auto-encoding Architectures: an Empirical Study

Denny Wu, Yixiu Zhao+3 more|arXiv (Cornell University)|Feb 15, 2018

Neural Networks and Applications参考文献 4被引用数 10

ひとこと要約

本稿では、高次元の密度推定に起因する不正確さを回避するため、自己符号化アーキテクチャにおける依存性を測定するための相互情報量（MI）の計算的効率性に優れた代替手段として、ヒルベルト＝シュミット独立性基準（HSIC）の使用を提案する。再構築自己符号化器では、入力層と潜在層の間の依存性が減少する傾向を示しており、これは『依存性ボトルネック』を示唆している。一方、予測自己符号化器ではそのような傾向は認められないが、予測表現はより高い下流分類精度を達成している。

ABSTRACT

Recent works investigated the generalization properties in deep neural networks (DNNs) by studying the Information Bottleneck in DNNs. However, the mea- surement of the mutual information (MI) is often inaccurate due to the density estimation. To address this issue, we propose to measure the dependency instead of MI between layers in DNNs. Specifically, we propose to use Hilbert-Schmidt Independence Criterion (HSIC) as the dependency measure, which can measure the dependence of two random variables without estimating probability densities. Moreover, HSIC is a special case of the Squared-loss Mutual Information (SMI). In the experiment, we empirically evaluate the generalization property using HSIC in both the reconstruction and prediction auto-encoding (AE) architectures.

研究の動機と目的

• 深層ニューラルネットワークにおける相互情報量（MI）推定の不正確さが、高次元の密度推定に起因する問題を解消すること。
• 標準的な深層ネットワークにおける情報ボトルネックと類似した、自己符号化アーキテクチャにおける依存性ボトルネックが存在するかを調査すること。
• 依存性測定を用いて、再構築型と予測型自己符号化器における学習済み潜在表現の一般化特性を評価すること。
• 再構築型と予測型自己符号化器の潜在表現の下流分類タスクにおける有用性を比較すること。

提案手法

• 深層ネットワーク内の層間の依存性を測定する非パラメトリックで密度に依存しない指標として、ヒルベルト＝シュミット独立性基準（HSIC）を提案する。
• 正規化された経験的HSICを用いて、自己符号化器における入力フレームと潜在表現の間の依存性を定量化する。
• HSICを二乗損失相互情報量（SMI）の特殊ケースとして扱い、カーネル密度比最適化を回避することで、効率的な計算を可能にする。
• 64×64のフレームを用いて、UCF-50データセット上で、再構築とフレーム予測の両方のタスクに適した畳み込み・デコンボリューション自己符号化器を訓練する。
• 訓練過程におけるHSICの推移を測定し、依存性の圧縮を検出するとともに、潜在コードの下流でのアクション認識精度を評価する。
• 再構築型と予測型自己符号化器の間でHSICのダイナミクスと分類性能を比較し、表現品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な深層ネットワークにおける情報ボトルネックと類似した、自己符号化アーキテクチャに依存性ボトルネックが現れるか？
• RQ2 再構築型自己符号化器と予測型自己符号化器の両方において、訓練過程で入力と潜在表現の間の依存性はどのように変化するか？
• RQ3 HSICで測定した依存性の低下は、下流タスクにおける一般化性能の向上と相関しているか？
• RQ4 予測自己符号化器では依存性の低下が見られないにもかかわらず、なぜより高い分類精度を達成しているのか？

主な発見

• 再構築自己符号化器では、入力フレームと潜在表現の間のHSICが訓練過程で減少しており、これは『依存性ボトルネック』効果が存在する可能性を示唆している。
• 予測自己符号化器では、過学習が発生する直前まで、HSICの顕著な低下は観察されず、明確な依存性圧縮段階が存在しないことが示唆された。
• 依存性の低下が見られないにもかかわらず、予測自己符号化器の潜在表現は0.29のアクション認識精度を達成しており、再構築自己符号化器の0.14よりも顕著に高い。
• 結果から、高品質な表現を得るためには依存性の低下が必須であるとは限らず、特定のタスクでは依存性の低下が表現の有用性を低下させる可能性があることが示唆された。
• HSICは、密度推定の欠陥を避けることができ、深層ネットワークにおける依存性測定の安定的で効率的な代替手段であることが示された。
• 本研究は、依存性の低減と表現の有用性の間には反直覚的な乖離が存在することを明らかにした。これは、一般化における圧縮の役割に関する仮定を再考する必要があることを示唆している。