[論文レビュー] Harnessing Out-Of-Distribution Examples via Augmenting Content and Style

Zhuo Huang, Xiaobo Xia+5 more|arXiv (Cornell University)|Jul 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、構造的因果モデリングを活用して画像のコンテンツとスタイルを分離する新しいフレームワークHOODを提案する。これにより、分布外（OOD）データの良性と悪性を効果的に区別でき、堅牢でスタイルに依存しないモデルを生成し、OOD検出性能を向上させる。変分推論を用いてELBOを最大化し、介入を用いた標的データ拡張を適用することで、最先端の性能を達成し、オープンセット半教師あり学習、ドメイン適応、OOD検出の各タスクで優れた性能を発揮する。

ABSTRACT

Machine learning models are vulnerable to Out-Of-Distribution (OOD) examples, and such a problem has drawn much attention. However, current methods lack a full understanding of different types of OOD data: there are benign OOD data that can be properly adapted to enhance the learning performance, while other malign OOD data would severely degenerate the classification result. To Harness OOD data, this paper proposes a HOOD method that can leverage the content and style from each image instance to identify benign and malign OOD data. Particularly, we design a variational inference framework to causally disentangle content and style features by constructing a structural causal model. Subsequently, we augment the content and style through an intervention process to produce malign and benign OOD data, respectively. The benign OOD data contain novel styles but hold our interested contents, and they can be leveraged to help train a style-invariant model. In contrast, the malign OOD data inherit unknown contents but carry familiar styles, by detecting them can improve model robustness against deceiving anomalies. Thanks to the proposed novel disentanglement and data augmentation techniques, HOOD can effectively deal with OOD examples in unknown and open environments, whose effectiveness is empirically validated in three typical OOD applications including OOD detection, open-set semi-supervised learning, and open-set domain adaptation.

研究の動機と目的

• オープンセット機械学習の文脈において、良性OODデータと悪性OODデータを区別する課題に対処すること。
• 良性OODデータを活用し、有害なOODデータを検出し除外することで、モデルの一般化性能と頑健性を向上させること。
• コンテンツとスタイルの誤った相関を解体するデスラプション手法を開発し、より不変で頑健な特徴学習を可能にすること。
• コンテンツとスタイルに制御された介入を加えることで、良性および悪性のOODサンプルを生成するデータ拡張戦略を設計すること。
• OOD検出、オープンセット半教師あり学習、オープンセットドメイン適応の3つの主要なOOD応用において、フレームワークの実証的妥当性を検証すること。

提案手法

• 本手法は、画像Xをオブジェクトの識別子（コンテンツC）と色・明るさ・方向性（スタイルS）に分解し、クラスYとドメインDを従来のターゲットとして構造的因果モデル（SCM）を構築する。
• 変分推論フレームワークを用いて、P(X, Y, D)の同時分布の近似下界（ELBO）を最大化することで、コンテンツとスタイル特徴の因果的分離を実現する。
• 深層学習で一般的に見られるコンテンツとスタイルの誤った相関を、介入を用いて明示的に解体し、コンテンツがスタイルの変化に対して不変であることを保証する。
• 既知のコンテンツに新しいスタイルを付加することで、良性OODデータを生成し、一般化性能の向上を図る。
• 未知のコンテンツに既存のスタイルを適用することで、分布内データに似せたが未学習のクラスを含む、悪性OODデータを生成し、OOD検出の頑健性を向上させる。
• コンテンツ分類（コンテンツ特徴を用いる）とドメイン予測（スタイル特徴を用いる）の二重ブランチヘッドを用いて、エンドツーエンドで学習することで、分離の維持を保証する。

実験結果

リサーチクエスチョン

• RQ1 構造的因果モデルを用いることで、画像データにおけるコンテンツとスタイルの有効な分離が、OOD一般化性能の向上に寄与するか？
• RQ2 新しいスタイルを有するが既知のコンテンツを持つ良性OODデータが、スタイルに依存しないモデルの学習に活用可能か？
• RQ3 未知のコンテンツを有するが馴染みのあるスタイルを持つ悪性OODデータが、分布外異常検出性能の向上に寄与するか？
• RQ4 提案された介入ベースのデータ拡張戦略が、オープンセット学習およびOOD検出の性能向上に寄与するか？
• RQ5 分離処理がドメインシフトおよび分布シフト下でのモデルの頑健性に与える影響は何か？

主な発見

• HOODは、OOD検出、オープンセット半教師あり学習、オープンセットドメイン適応のベンチマークで最先端の性能を達成した。
• アブレーションスタディの結果、良性OODデータと悪性OODデータの両方が不可欠であることが確認された。両者を排除すると性能が低下した。
• 分離処理は一般化性能を顕著に向上させた。特にドメイン不変特徴が重要なオープンセットドメイン適応では顕著であった。
• スタイルが著しく変化しても、コンテンツ分類の精度が高く維持された。これは、コンテンツの有効な保存を示している。
• 介入ベースの拡張戦略により、良性OODデータと悪性OODデータの両方が成功裏に生成された。可視化結果から、良性拡張ではコンテンツが保持されており、悪性拡張ではコンテンツが変更されていることが確認された。
• 拡張回数のアブレーションでは、1サンプルあたり4回の拡張が最適な性能を発揮した。多様性と分類の難易度のバランスが取れていた。