[論文レビュー] Learning Optimal Representations with the Decodable Information Bottleneck

Yann Dubois, Douwe Kiela+2 more|arXiv (Cornell University)|Jan 1, 2020

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

Decodable Information Bottleneck (DIB) フレームワークは、特定の予測ファミリー（例：線形分類器）と圧縮および情報保持を整合させることで、教師あり学習における表現の最適化を図り、一般化性能の向上を実現する。理論的保証を提供し、下流モデルにおける一般化ギャップの経験的低減を実現する。

ABSTRACT

We address the question of characterizing and finding optimal representations for supervised learning. Traditionally, this question has been tackled using the Information Bottleneck, which compresses the inputs while retaining information about the targets, in a decoder-agnostic fashion. In machine learning, however, our goal is not compression but rather generalization, which is intimately linked to the predictive family or decoder of interest (e.g. linear classifier). We propose the Decodable Information Bottleneck (DIB) that considers information retention and compression from the perspective of the desired predictive family. As a result, DIB gives rise to representations that are optimal in terms of expected test performance and can be estimated with guarantees. Empirically, we show that the framework can be used to enforce a small generalization gap on downstream classifiers and to predict the generalization ability of neural networks.

研究の動機と目的

• 従来の情報ボトルネックが表現学習において特定の予測ファミリー（デコーダ）を無視するという限界に対処すること。
• 圧縮のみではなく一般化を最適化することを目的とした表現学習フレームワークの開発。
• 性能保証を伴う理論的根拠に基づく表現の推定手法の提供。
• 表現設計を通じてニューラルネットワークの一般化能力の予測を改善すること。
• 提案フレームワークを用いて下流分類器において一般化ギャップが低減されることを経験的に示すこと。

提案手法

• DIBフレームワークは、情報ボトルネックの目的関数を、予測ファミリー（デコーダ）を最適化プロセスに組み込むことで変更する。
• 特定の予測タスクに関連する情報を保持するデコーダに依存する圧縮目的を導入する。
• 可視化近似を用いて計算可能性を確保しつつ、期待テスト誤差を最小化し、同時に圧縮を維持するように表現を最適化する。
• このフレームワークにより、一般化性能に関する理論的保証を伴う表現の推定が可能になる。
• 変分推論を活用して、デコーダに依存する目的関数下での最適表現分布を近似する。
• 誘導的バイアスを制御して訓練されたニューラルネットワークにこのアプローチを適用し、一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 表現学習をどのように最適化すれば、単なる圧縮ではなく一般化性能の向上が図れるか？
• RQ2 予測ファミリーを表現学習の目的関数に組み込むとどのような影響があるか？
• RQ3 DIBフレームワークは、下流分類器のテスト性能について理論的保証を提供できるか？
• RQ4 DIBはニューラルネットワークモデルにおける一般化ギャップをどの程度低減できるか？
• RQ5 このフレームワークは、訓練済みニューラルネットワークの一般化能力を予測できるか？

主な発見

• DIBフレームワークは、特定の予測ファミリーと整合させることで、期待テスト性能に最適な表現を生成する。
• 経験的結果から、DIBは下流分類器に対して小さな一般化ギャップを強制できることを示している。
• このフレームワークにより、学習済み表現に基づいてニューラルネットワークの一般化能力を正確に予測できるようになった。
• DIBは、圧縮と予測性能の両者を結びつける表現品質に関する理論的保証を提供する。
• 特に予測ファミリーが事前に分かっている場合に、従来の情報ボトルネックを上回る一般化性能を達成する。
• さまざまな下流分類タスクにおいて、DIBはより高いロバスト性と一般化性能を示している。