[論文レビュー] Diversify and Disambiguate: Learning From Underspecified Data

Yoonho Lee, Huaxiu Yao+1 more|arXiv (Cornell University)|Feb 7, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

DivDis は二段階のフレームワークであり、まず、共有バックボーンに複数のヘッドを用いてラベルなしのターゲットデータに対して予測が食い違うように学習させることで、不十分に指定されたデータから多様な仮説を学習する。次に、最小限のターゲットラベルを用いて最も良い関数を選択することで、曇りをとく。Waterbirdsベンチマークでは最悪グループの正確性が15%以上向上し、Camelyon17では半教師あり手法を上回り、極端な分布シフトや不十分な指定に対する頑健性を示した。

ABSTRACT

Many datasets are underspecified: there exist multiple equally viable solutions to a given task. Underspecification can be problematic for methods that learn a single hypothesis because different functions that achieve low training loss can focus on different predictive features and thus produce widely varying predictions on out-of-distribution data. We propose DivDis, a simple two-stage framework that first learns a diverse collection of hypotheses for a task by leveraging unlabeled data from the test distribution. We then disambiguate by selecting one of the discovered hypotheses using minimal additional supervision, in the form of additional labels or inspection of function visualization. We demonstrate the ability of DivDis to find hypotheses that use robust features in image classification and natural language processing problems with underspecification.

研究の動機と目的

• 訓練データが不十分に指定されている状況における分布シフトの課題に対処すること。この状況では、データを説明する複数の妥当な仮説が存在しうる。
• 標準的な ERM や頑健性手法が、複数の妥当な説明が存在する状況であっても、唯一の関数しか選ばないという限界を克服すること。
• サブグループシフトやドメイン一般化の下での一般化を向上させるために、事前に多様で補完的な仮説を発見し、その後で最良のものを選択すること。
• ラベルなしのターゲットデータ上の不一致を活用することで、わずかなラベル例でのみでターゲットドメインへの効率的適応を可能にすること。
• 事前に誤った属性のアノテーションが不要な、スケーラブルでエンドツーエンドのフレームワークを提供すること。

提案手法

• DivDis は共有バックボーンを持つマルチヘッドニューラルネットワークを用い、各ヘッドが異なる仮説を表す。
• Diversify ステージでは、すべてのヘッドがラベル付きデータのソース損失を最小化するとともに、ラベルなしのターゲットデータに対して多様な予測を出すように促される。
• 多様性は、ターゲットデータ上でヘッド間の予測不一致を最大化する不一致損失によって強制され、代替関数の探索を促進する。
• Disambiguate ステージでは、ターゲットデータの小さな情報量のサブセットからのラベルを用いて、不確実性または不一致の指標をガイドとして、1つのヘッドを選択する。
• このフレームワークは二段階で動作する：まず、ターゲットラベルなしで多様な仮説を発見する。次に、最小限の監視により曇りを解消する。
• この手法は大規模なビジョンおよびテキストベンチマークにスケーリング可能であり、誤った特徴や因果構造に関する事前知識を必要としない。

実験結果

リサーチクエスチョン

• RQ1 不十分に指定されたデータから複数の妥当な仮説を発見できる学習フレームワークは、分布シフト下での頑健性を向上させることができるか？
• RQ2 ラベル付きターゲットデータに依存せずに、トレーニング中に仮説間の多様性を効果的に促進できるか？
• RQ3 複数の仮説が利用可能な状況で、最小限のターゲットラベルが性能向上にどの程度寄与するか？
• RQ4 高い不十分指定性を示す設定において、このフレームワークは標準的な ERM や既存の頑健性手法を上回るか？
• RQ5 明示的な監視なしで、自動的に補完的かつ分離可能な特徴を同定・活用できるか？

主な発見

• DivDis は、あらゆる誤った属性アノテーションを一切使用せずに、Waterbirds ベンチマークで最悪グループの正確性を15%以上絶対値で向上させた。
• Camelyon17 データセットでは、ドメインシフト下で既存の半教師あり学習手法を上回った。
• ターゲットドメインでたった4つのラベルのみを用いても、完全に相関する誤った属性設定において128個のラベルを用いる微調整ベースラインを上回った。
• 画像およびテキストタスクの可視化結果から、意味的で補完的な特徴が自動的に発見されていることが示された。
• DivDis は ImageNet やテキスト分類を含む大規模ベンチマークにも効果的にスケーリングされ、多様な分布シフト設定において強力なパフォーマンスを維持した。
• フレームワークは、仮説の多様性に加え、最小限の曇りの解消が、単一関数モデルと比較して顕著に高い頑健性をもたらすことを示した。