[論文レビュー] Toward Learning Human-aligned Cross-domain Robust Models by Countering Misaligned Features

Haohan Wang, Zeyi Huang+3 more|arXiv (Cornell University)|Nov 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 5

ひとこと要約

本論文は、人間の認識と整合する特徴の整合性を組み込むことで、機械学習におけるクロスドメインの頑健性を向上させる、新しい一般化誤差バウンドを提案する。誤った特徴（人間の認識とは無関係だがモデルが利用する特徴）を特定し、それらに対処することで、人間の認識に整合する学習と頑健な一般化を結びつける原理的フレームワークを提示し、データ拡張と仮説空間正則化を組み合わせた実証的評価により、従来手法を上回る性能を示している。

ABSTRACT

Machine learning has demonstrated remarkable prediction accuracy over i.i.d data, but the accuracy often drops when tested with data from another distribution. In this paper, we aim to offer another view of this problem in a perspective assuming the reason behind this accuracy drop is the reliance of models on the features that are not aligned well with how a data annotator considers similar across these two datasets. We refer to these features as misaligned features. We extend the conventional generalization error bound to a new one for this setup with the knowledge of how the misaligned features are associated with the label. Our analysis offers a set of techniques for this problem, and these techniques are naturally linked to many previous methods in robust machine learning literature. We also compared the empirical strength of these methods demonstrated the performance when these previous techniques are combined, with an implementation available at https://github.com/OoDBag/WR

研究の動機と目的

• 分布外データにおけるモデル性能の低下を、人間の認識と一致しない特徴を特定することで解決すること。
• 人間が無関係と判断する特徴を考慮することで、クロスドメイン設定における一般化誤差を形式的に定式化すること。
• 誤った特徴への依存を最小化することで、モデルの頑健性を向上させる原理的な手法を開発すること。
• 提案手法を既存の頑健学習手法と結びつけ、理論的および実証的利点を示すこと。
• データ拡張と仮説空間正則化を組み合わせた手法の有効性を、実証的に検証すること。

提案手法

• 人間の認識とモデルの予測特徴との間の乖離を測る項を含む、新しい一般化誤差バウンドを導出すること。
• ラベルとの関連性に基づき、人間の判断と一致しない特徴に依存するモデルをペナルティ化する損失項を導入すること。
• 最悪ケースのデータ拡張（例：周波数ベースの摂動）を適用し、誤った特徴の利用に対してモデルの頑健性を高めること。
• データ拡張と仮説空間正則化を組み合わせることで、分布シフト下での一般化を向上させること。
• 周波数ベースの摂動を異なる半径で適用し、人間には感知できない誤った特徴に対する耐性を模擬すること。これは先行研究にインspiredされたものである。
• ベンチマークデータセット上で実証的に検証された、データ拡張と正則化を統合するヒューリスティック（WR）を設計すること。

実験結果

リサーチクエスチョン

• RQ1 人間の認識とは無関係だがモデルが利用する誤った特徴がクロスドメイン一般化に与える影響を、形式的に定義し、定量的に測定することは可能か？
• RQ2 標準の一般化誤差バウンドを拡張し、人間の認識に整合する特徴の好みを組み込むことで、モデルの頑健性を向上させることは可能か？
• RQ3 アドバーシャルトレーニングやデータ拡張などの既存の頑健学習手法は、人間の認識に整合する特徴学習の問題とどのように関係しているか？
• RQ4 データ拡張と仮説空間正則化を組み合わせた際の実証的性能は、人間の認識への整合性向上にどの程度寄与するか？
• RQ5 人間の判断とモデルの一般化を結びつける原理的なフレームワークは、分布外設定におけるより強い頑健性をもたらすか？

主な発見

• 提案された一般化誤差バウンドには、ラベルとの誤った特徴の関連性を明示的に反映する項が含まれており、人間の認識とより良い整合性を実現している。
• データ拡張と仮説空間正則化を組み合わせた手法は、個別の手法よりも強い実証的性能を示している。
• 提案されたヒューリスティック（WR）は、AugMixなどのより複雑な摂動戦略を用いる手法と比較して、4つのテストシナリオにおける平均性能が優れている。
• 実証的結果から、異なる半径の周波数ベース摂動が、人間には感知できない誤った特徴へのモデルの依存を効果的に是正することが示された。
• このフレームワークは、既存の頑健学習手法と人間の認識に整合する学習を結びつけ、理論的・実践的整合性を示した。
• 本研究は、人間が無関係と判断する特徴への依存を明示的に抑制することで、モデルの分布シフトに対する頑健性を高められることを確認した。