[論文レビュー] Distilling Model Failures as Directions in Latent Space

Saachi Jain, Hannah R. Lawrence+2 more|arXiv (Cornell University)|Jun 29, 2022

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

本論文では、正規化された埋め込み表現に線形分類器を適用することで、潜在特徴空間内に解釈可能な方向としてモデルの失敗モードを自動的に検出し、表現するスケーラブルな手法を提案する。一貫した誤りパターンを同定することで、フレームワークは自動的な部分集団同定、失敗モードの人が読みやすいキャプション化、および拡散モデルを用いた標的的な合成データ増強を可能にし、人的介入なしにモデルの頑健性を向上させる。

ABSTRACT

Existing methods for isolating hard subpopulations and spurious correlations in datasets often require human intervention. This can make these methods labor-intensive and dataset-specific. To address these shortcomings, we present a scalable method for automatically distilling a model's failure modes. Specifically, we harness linear classifiers to identify consistent error patterns, and, in turn, induce a natural representation of these failure modes as directions within the feature space. We demonstrate that this framework allows us to discover and automatically caption challenging subpopulations within the training dataset. Moreover, by combining our framework with off-the-shelf diffusion models, we can generate images that are especially challenging for the analyzed model, and thus can be used to perform synthetic data augmentation that helps remedy the model's failure modes. Code available at https://github.com/MadryLab/failure-directions

研究の動機と目的

• 人的介入なしに、データセット内に存在するハードな部分集団や誤った相関関係をスケーラブルかつ自動的に検出するための手法の不足に対処すること。
• 個々の入力を中心に焦点を当てた既存の解釈可能性手法の限界を克服し、グローバルかつ一貫した失敗パターンに注目すること。
• モデルアーキテクチャーやデータセットに一般化可能な、自動的かつ解釈可能な失敗モードの同定を可能にすること。
• 特定の失敗方向に適合した合成データ増強を通じて、行動可能なモデル改善を支援すること。
• ImageNet や ChestX-ray14 などの大規模データセットにおける隠れたバイアスや分布シフトを同定するフレームワークを提供すること。

提案手法

• 事前学習済みモデルの正規化された特徴埋め込みに対して線形分類器（SVM）を訓練し、一貫した予測誤差を検出する。
• 各SVMの決定境界を用いて、特定の誤りパターンを表す潜在空間内の「失敗方向」を定義する。
• 各データポイントの失敗方向との整合性を測ることで、その失敗モードに対する関連性を定量化する。
• 市販の拡散モデルを用いて失敗方向に整合する合成画像を生成し、学習データを増強する。
• CIFAR-10、ImageNet、ChestX-ray14 などの多様なデータセットにフレームワークを適用し、手動ラベルなしで失敗モードを検出する。
• CLIPを用いたキャプション生成により、各失敗方向に解釈可能な人間が理解できる説明を自動的に付与する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルにおける失敗モードは、潜在空間内に解釈可能な方向として自動的に検出・表現可能か？
• RQ2 本手法で同定された失敗方向は、同じデータで学習された異なるモデルアーキテクチャ間でも一般化可能か？
• RQ3 手動ラベル付けやデータ探索を一切行わず、意味のある人間が理解できる部分集団を同定できるか？
• RQ4 失敗方向に基づく合成データ増強は、ハードな部分集団におけるモデルの頑健性をどの程度向上できるか？
• RQ5 失敗方向は、医療画像における撮影視野（AP対PA）といった既知のデータアーチファクトとどの程度相関しているか？

主な発見

• ResNet18 から抽出した失敗方向は、ResNet50 や ViT-B といった他のアーキテクチャへも同様の部分集団正答率のパターンで一般化される。
• ImageNet では、高い一貫性を示して失敗モードを正しく同定し、モデル固有のSVMキャプションと同等の部分集団正答率の差を達成した。
• ChestX-ray14 では、フレームワークがAP視野のレントゲン画像がモデルによって系統的に「健全」と誤分類されることを検出した。特に、発症や浸潤の状態で顕著であった。
• マス症候群に関しては、AP視野が「非健全」クラスに対してより困難であることが同定され、以前に気づかれていなかったバイアスが明らかになった。
• 失敗モードに特化した合成データを拡散モデルで生成することで、ハードな部分集団におけるモデル性能が向上し、有効なデータ増強が実証された。
• CLIPを用いて自動生成された失敗方向のキャプションは意味的に意味的で、撮影視野や解剖的アーチファクトといった視覚的パターンとも整合していた。