[論文レビュー] Drop-Bottleneck: Learning Discrete Compressed Representation for Noise-Robust Exploration

Jaekyeom Kim, Minjung Kim+2 more|arXiv (Cornell University)|Mar 23, 2021

Adversarial Robustness in Machine Learning参考文献 36被引用数 9

ひとこと要約

本論文は、不要な入力特徴量を離散的にドロップすることで、ノイズに強い表現学習のための決定的かつ圧縮された表現を生成する、新しい情報ボトルネック手法であるDrop-Bottleneckを提案する。特徴量抽出と選択を同時に学習することで、ノイズが多い・報酬が疎である強化学習環境において最先端の性能を達成し、VIBよりも敵対的ロバストネスおよび次元削減の面で優れている。

ABSTRACT

We propose a novel information bottleneck (IB) method named Drop-Bottleneck, which discretely drops features that are irrelevant to the target variable. Drop-Bottleneck not only enjoys a simple and tractable compression objective but also additionally provides a deterministic compressed representation of the input variable, which is useful for inference tasks that require consistent representation. Moreover, it can jointly learn a feature extractor and select features considering each feature dimension's relevance to the target task, which is unattainable by most neural network-based IB methods. We propose an exploration method based on Drop-Bottleneck for reinforcement learning tasks. In a multitude of noisy and reward sparse maze navigation tasks in VizDoom (Kempka et al., 2016) and DMLab (Beattie et al., 2016), our exploration method achieves state-of-the-art performance. As a new IB framework, we demonstrate that Drop-Bottleneck outperforms Variational Information Bottleneck (VIB) (Alemi et al., 2017) in multiple aspects including adversarial robustness and dimensionality reduction.

研究の動機と目的

• 強化学習におけるタスクに無関係またはノイズの多い情報の課題に取り組むこと、特に報酬が疎で観測がノイズ混じりの状況を想定する。
• 従来のニューラルネットワークベースの情報ボトルネック手法に見られる、確率的表現の生成と特徴量選択・圧縮の分離という限界を克服すること。
• 特徴量次元を削減しながら下流タスクの予測性能を維持する、実用的で決定的な圧縮メカニズムを開発すること。
• 圧縮表現を活用して内因的報酬を生成する、ノイズに強い強化学習のための探索手法を設計すること。
• 変分情報ボトルネック（VIB）および特徴量選択ベースラインと比較して、敵対的例に対する優れたロバストネスと効果的な次元削減を示すこと。

提案手法

• 本手法は、ターゲット変数に対して無関係と見なされる特徴量を次元ごとに学習可能な特徴量ドロップ確率を用いて離散的にドロップすることで、入力特徴量を圧縮する。
• 特徴量抽出器と微分可能なドロップ確率ヘッドを同時に学習させることで、特徴量抽出と選択の両方をエンドツーエンドで学習可能にする。
• 圧縮の目的関数は、圧縮表現とターゲット変数の間の相互情報量のバランスを取る、解釈可能な最適化問題として定式化される。
• ドロップ確率にハードスイッチを適用することで決定的かつ一貫性のある圧縮表現を導出する。
• 探索手法は、エピソードメモリを用いて圧縮表現を保存し、メモリからの新しい観測の予測可能性に基づいて内因的報酬を計算する。
• フレームワークは、情報ボトルネック目的関数の変分近似を経由して訓練され、ハイパーパrameter β が圧縮と予測のトレードオフを制御する。

実験結果

リサーチクエスチョン

• RQ1 確率的手法（例：VIB）と比較して、離散的特徴量ドロップはより安定的かつ決定的な圧縮表現を提供できるか？
• RQ2 特徴量抽出と選択を同時に学習することで、ノイズが多い・報酬が疎な強化学習環境での性能が向上するか？
• RQ3 Drop-Bottleneckは、VIBおよび従来の特徴量選択手法と比較して、より優れた敵対的ロバストネスを達成できるか？
• RQ4 Drop-Bottleneckは、下流タスクの性能を維持しつつ、どの程度特徴量次元を削減できるか？
• RQ5 一般化性能およびロバストネスの観点から、決定的圧縮表現は確率的または手動で選択された特徴量表現と比較してどの程度優れているか？

主な発見

• ノイズが多く報酬が疎な状況下で、VizDoomおよびDMLabナビゲーションタスクにおいて、Drop-Bottleneckは、先行する好奇心ベースおよびIBベースの探索手法を上回る最先端の性能を達成した。
• 8つの特徴量のみを用いても、Drop-Bottleneck（決定的）は、ターゲットℓ∞攻撃における攻撃成功確率が2.0%にとどまる一方、相互情報量ベースの特徴量選択では85.5%に上昇し、優れた敵対的ロバストネスを示した。
• ImageNetでは、4つの特徴量のみでDrop-Bottleneckは71%を超えるトップ-1精度を維持したが、相互情報量ベースの特徴量選択は同条件で約10%まで低下した。
• Occluded CIFARデータセットでは、Drop-Bottleneckの決定的圧縮表現が、元の表現のほぼすべての予測性能を保持しており、性能低下は最小限に抑えられた。
• 探索パイプラインにおいてDrop-BottleneckをVIBに置き換えると、顕著な性能低下が生じた。これは、本手法がロバストネス向上に特異的な貢献をしていることを確認するものである。
• ハイパーパrameter β を用いることで、次元削減と性能のトレードオフを制御可能であり、異なる推論ニーズに応じた柔軟な圧縮が可能となった。