[論文レビュー] Domino: Discovering Systematic Errors with Cross-Modal Embeddings

Sabri Eyuboglu, Maya Varma+6 more|arXiv (Cornell University)|Mar 24, 2022

Topic Modeling被引用数 39

ひとこと要約

Domino は クロスモーダル埋め込みと エラー認識付き混合モデルを用いて、一貫性があり、パフォーマンスが低いデータスライスを発見し、それらの自然言語説明を生成することで、ground-truth スライス検出を改善し、NL 説明を可能にする。

ABSTRACT

Machine learning models that achieve high overall accuracy often make systematic errors on important subsets (or slices) of data. Identifying underperforming slices is particularly challenging when working with high-dimensional inputs (e.g. images, audio), where important slices are often unlabeled. In order to address this issue, recent studies have proposed automated slice discovery methods (SDMs), which leverage learned model representations to mine input data for slices on which a model performs poorly. To be useful to a practitioner, these methods must identify slices that are both underperforming and coherent (i.e. united by a human-understandable concept). However, no quantitative evaluation framework currently exists for rigorously assessing SDMs with respect to these criteria. Additionally, prior qualitative evaluations have shown that SDMs often identify slices that are incoherent. In this work, we address these challenges by first designing a principled evaluation framework that enables a quantitative comparison of SDMs across 1,235 slice discovery settings in three input domains (natural images, medical images, and time-series data). Then, motivated by the recent development of powerful cross-modal representation learning approaches, we present Domino, an SDM that leverages cross-modal embeddings and a novel error-aware mixture model to discover and describe coherent slices. We find that Domino accurately identifies 36% of the 1,235 slices in our framework - a 12 percentage point improvement over prior methods. Further, Domino is the first SDM that can provide natural language descriptions of identified slices, correctly generating the exact name of the slice in 35% of settings.

研究の動機と目的

• ドメイン専門家にとって一貫性があり意味のある、性能が低いデータスライスを特定する必要性を動機づける。
• 画像、医用画像、時系列ドメインの1,235設定に跨るSDMの原理的でスケーラブルな評価フレームワークを提案する。
• クロスモーダル埋め込みを活用してスライスの一貫性を向上させ、NLスライス説明を可能にするSDMである Domino を紹介する。
• Domino が従来のSDMより定量的な改善を示し、自動的なスライス語りの実現性を示す。

提案手法

• データを分割する k 個の一貫したスライス S を含む入力 X、ラベル Y を用いてスライス検出を定式化する。
• 1,235設定において SDM の低パフォーマンスと一貫性を測定する評価フレームワークを開発する。
• Domino を紹介する: 入力をクロスモーダル表現 g_input で埋め込み、テキストを g_text で同じ潜在空間に配置する。
• 埋め込み、ラベル、および予測にエラー認識付きガウス混合モデルを適用して hat{k} 個のスライスを特定する。
• 見つかったスライスの自然言語説明を、スライスのプロトタイプをテキスト埋め込みコーパスと整列させることで生成する。

実験結果

リサーチクエスチョン

• RQ1 SDM は多様なドメインとデータモダリティに渡って一貫性がありパフォーマンスが低いスライスをどの程度正確に識別できるか。
• RQ2 クロスモーダル埋め込みは、発見されたスライスの一貫性と説明性を、単一モーダル埋め込みと比較して改善するか。
• RQ3 SDM は発見されたスライスを正確に命名する自動的な自然言語の説明を提供できるか。

主な発見

• Domino は 1,235 設定にわたって ground-truth の一貫性スライスの 36% を識別し、従来法より 12 ポイントの改善を示した。
• クロスモーダル埋め込みは、自然画像、医用画像、および時系列データにおけるスライス発見性能を著しく向上させる。
• Domino はクロスモーダル埋め込みを用いて平均 precision-at-10 を改善し、例えば合成モデルでは CLIP 使用時 0.570 に対しベースライン 0.347–0.370。学習済みモデルも CLIP を単一モーダル埋め込みよりおよそ 15 ポイント優位にしている。
• Domino は発見されたスライスの自然言語説明を生成する初のSDMであり、自然画像で設定の 35% でスライス名を正しく命名し、正確な名前または同義語を top-1 にランク付けする割合は、 rare 34.7%、correlation 41.0%、noisy label 39.0% である。
• Domino の Top-10 フレーズランキング：rare 57.4%、correlation 55.4%、noisy label 48.7% が Top-10 説明に入る。