[論文レビュー] Unshuffling Data for Improved Generalization

Damien Teney, Ehsan Abbasnejad+1 more|arXiv (Cornell University)|Feb 27, 2020

Multimodal Machine Learning Applications参考文献 82被引用数 41

ひとこと要約

トレーニングデータを複数の環境に分割して偽の相関への依存を減らし、共有特徴抽出器を用いた環境固有の分類器を訓練し、分散正則化子を用いて安定で環境不変な特徴を促進することで、VQAタスクにおけるOOD一般化を向上させる。

ABSTRACT

Generalization beyond the training distribution is a core challenge in machine learning. The common practice of mixing and shuffling examples when training neural networks may not be optimal in this regard. We show that partitioning the data into well-chosen, non-i.i.d. subsets treated as multiple training environments can guide the learning of models with better out-of-distribution generalization. We describe a training procedure to capture the patterns that are stable across environments while discarding spurious ones. The method makes a step beyond correlation-based learning: the choice of the partitioning allows injecting information about the task that cannot be otherwise recovered from the joint distribution of the training data. We demonstrate multiple use cases with the task of visual question answering, which is notorious for dataset biases. We obtain significant improvements on VQA-CP, using environments built from prior knowledge, existing meta data, or unsupervised clustering. We also get improvements on GQA using annotations of "equivalent questions", and on multi-dataset training (VQA v2 / Visual Genome) by treating them as distinct environments.

研究の動機と目的

• 視覚と言語タスクにおけるデータセットバイアスや偽相関が引き起こす貧弱なOOD一般化を動機づけて対処する。
• 偽のパターンが環境間で変化し、信頼できるパターンが安定するようにデータを訓練環境に分割する手法を提案する。
• 共有特徴抽出器と分散正則化子を用いて、環境間の不変性を促進する複数の環境固有分類器を訓練する。
• VQA関連タスクで手法をデモンストレーションし、言語バイアスへの耐性（VQA-CP）、同値質問への不変性（GQA）、およびマルチデータセット訓練を含む。
• ハイパーパラメータおよび分割戦略に対する経験的分析と感度調査を提供する。

提案手法

• トレーニングデータをE個の分離された環境に分割し、偽相関が環境間で変化する一方、信頼できる相関は安定するようにする。
• 環境を跨ぐ共有特徴抽出器 f_theta を訓練し、各環境に対して個別の分類器 W_e を用意し、W_e を共通値に向かわせる分散正則化子を用いる。
• 目的関数を最適化する：環境固有の損失の和にペナルティ lambda * Var_e(W_e) を加えて最小化し、Var_e(W_e) は環境固有分類器の分散指標である。
• テスト時には、平均化された分類器重みを用いて予測する： Phi*(x) = ￰_theta(x).
• 訓練を安定化させるために絶対分散形式または相対分散形式のいずれかを採用し、ウォームアップ段階の後に交互最適化（θとW_eを別々に更新）を任意で用いる。

実験結果

リサーチクエスチョン

• RQ1 偽の相関が環境間で変化し、真のタスク信号が安定するようにデータを環境に分割するにはどうすればよいか？
• RQ2 分散で規制された環境固有分類器と組み合わせた共有特徴抽出器は、OODデータへの一般化をより良くする不変な予測子を学習できるか？
• RQ3 異なる環境構築戦略（真の質問タイプ、教師なしクラスタリング）がVQAにおけるOOD性能に与える影響は？
• RQ4 提案手法はVQA-CP、同値質問を含むGQA、マルチデータセットVQA設定でどう機能するか？
• RQ5 分散正則化の重みと最適化方式への感度はどの程度か？

主な発見

方法	検証セット（Other）	テストセット（Other）
Baseline	54.74	43.33
Environments: random; rel. var., no alt. opt.	53.34	43.51
Environments: clustered questions; rel. var., no alt. opt.	54.10	46.35
Environments: question groups ; rel. var., no alt. opt.	53.87	47.60
+ Alternating optimization (0 warm-up epoch)	54.00	47.71
+ Alternating optimization (2 warm-up epochs)	53.90	47.82
+ Alternating optimization (4 warm-up epochs)	53.98	48.06
+ Alternating optimization (6 warm-up epochs)	53.86	47.38
Without variance regularizer	40.76	39.14
With absolute variance regularizer	51.44	46.17

• 提案された環境ベースの手法により、VQA-CPでベースラインより有意な改善を達成、特に 'Other' 質問で。
• 真の質問タイプ環境を用いると大きな改善が得られ、質問の教師なしクラスタリングも顕著な改善をもたらすが、真のタイプにはやや劣る。
• 分散正則化は重要で、相対分散正則化は絶対分散よりわずかに優れており、交互最適化スキームは適度な追加ゲインを提供する。
• 環境分割をランダム化した環境間での訓練は改善を生まない、情報価値のある環境構築の必要性を強調する。
• 標準的なVQA分割でも競争力があり、アンサンブリングを補完できる。改善はOOD一般化タスク（VQA-CP）で最も顕著。
• GQAでは同値質問の注釈を用いると頑健性が向上。マルチデータセットVQA（VQA v2 / Visual Genome）ではデータセットを別々の環境として扱うことで小さな効果が得られる。