[論文レビュー] Multi-Task Variational Information Bottleneck

Weizhu Qian, Bowei Chen+3 more|arXiv (Cornell University)|Jul 1, 2020

Adversarial Robustness in Machine Learning参考文献 62被引用数 4

ひとこと要約

本論文は、タスク依存の不確実性重み付けと変分推論を統合することで、マルチタスク学習のための頑健で分離可能な潜在表現を学習する、マルチタスク変分情報ボトルネック（MTVIB）モデルを提案する。圧縮されたタスク関連の表現と適応的損失重み付けを同時に最適化することで、3つのベンチマークデータセットにおいて、最先端の精度と敵対的攻撃に対する優れた耐性を達成した。

ABSTRACT

Multi-task learning (MTL) is an important subject in machine learning and artificial intelligence. Its applications to computer vision, signal processing, and speech recognition are ubiquitous. Although this subject has attracted considerable attention recently, the performance and robustness of the existing models to different tasks have not been well balanced. This article proposes an MTL model based on the architecture of the variational information bottleneck (VIB), which can provide a more effective latent representation of the input features for the downstream tasks. Extensive observations on three public data sets under adversarial attacks show that the proposed model is competitive to the state-of-the-art algorithms concerning the prediction accuracy. Experimental results suggest that combining the VIB and the task-dependent uncertainties is a very effective way to abstract valid information from the input features for accomplishing multiple tasks.

研究の動機と目的

• 既存のマルチタスク学習（MTL）モデルにおける複数のタスク間でのパフォーマンスと耐性の不均衡を是正すること。
• 変分情報ボトルネック（VIB）とタスク固有の不確実性推定を組み合わせることで、潜在表現の質を向上させること。
• 尤度に基づく不確実性重み付けを用いて、手動または固定のハイパーパrameterチューニングを回避するタスク間の損失寄与の動的バランスを実現すること。
• 複数の下流タスクにおける高い予測精度を維持しつつ、敵対的攻撃に対するモデルの耐性を強化すること。
• 情報ボトルネックの原則を用いてマルチタスク学習を制約付きの多目的最適化問題として定式化すること。

提案手法

• 変分推論フレームワークを用いて、潜在コード上の事後分布を学習することで、正則化され、ノイズに強い表現を実現する。
• 共有エンコーダーが入力特徴を潜在分布にマップし、タスク固有のデコーダーが各下流タスクの予測を生成する。
• タスク依存の不確実性が尤度分布のパラメータとして学習され、タスク固有の損失の自動的・適応的重み付けが可能になる。
• 目的関数は、入力と潜在コード間の相互情報量、および潜在コードと出力間の相互情報量のバランスを取る、情報ボトルネックの変分近似を最小化する。
• 勾配の確率的最適化を用いてエンドツーエンドで訓練され、総損失は、学習された不確実性から導かれる重み付きのタスク固有の交差エントロピー損失の和で構成される。
• モデルは、さまざまな摂動レベル（ε）の敵対的攻撃下で評価され、耐性と一般化性能が検証された。

実験結果

リサーチクエスチョン

• RQ1 変分情報ボトルネックフレームワークは、マルチタスク学習における共有潜在表現の質と耐性を向上させることができるか？
• RQ2 タスク固有の不確実性を学習することで、より優れた動的損失重み付けとタスク間でのパフォーマンスのバランス改善が達成できるか？
• RQ3 MTVIBモデルは、敵対的攻撃下での精度と耐性において、最先端のMTLモデルと比較してどのように差をつけるか？
• RQ4 VIBを用いて学習された分離可能な潜在表現は、複数のタスクにわたる一般化をどの程度向上させるか？
• RQ5 表現の圧縮と損失重み付けの共同最適化は、マルチタスクベンチマークで優れたパフォーマンスをもたらすか？

主な発見

• MultiMNISTデータセットでは、ε=0.05の条件下でMTVIBが93.7%のテスト精度を達成し、STL（87.1%）やSTVIB（86.7%）を上回り、他のMTLベースラインと同等またはそれを上回った。
• MultiFashionデータセットでは、ε=0.05でMTVIBが58.2%の精度を示し、STL（59.1%）、STVIB（60.1%）、GS（57.1%）を大きく上回り、耐性の向上が確認された。
• MTFLデータセットでは、タスク1でε=0.05の下で34.4%、タスク2でε=0.30の下で22.6%の精度を達成し、高摂動攻撃下でも強い耐性を示した。
• MTVIBは、全データセットおよび敵対的攻撃レベルにおいて、常に最良のパフォーマンスを示したモデル（例：UWL、GS）と同等またはそれを上回り、MTFLではタスク1でε=0.05の下で最高の34.4%の精度を記録した。
• 他のMTLモデルと比較して、MTVIBは敵対的ノイズ（ε）の増加に対しても高い精度を維持しており、VIBと不確実性重み付けによる効果的な正則化が裏付けられた。
• アブレーションスタディの結果、VIBと不確実性重み付けを併用することで、単独で用いる場合よりも優れたパフォーマンスが得られ、両者のメカニズムの相乗効果が検証された。