[論文レビュー] Identifying Unknown Unknowns in the Open World: Representations and Policies for Guided Exploration

Himabindu Lakkaraju, Ece Kamar+2 more|arXiv (Cornell University)|Oct 28, 2016

Machine Learning and Data Classification被引用数 44

ひとこと要約

本論文は、特徴の類似性とモデルの信頼度に基づいてテスト空間を分割し、オラクルフィードバックを用いた探索・活用戦略を適用することで、未知の未知の事項——高信頼度で誤った予測——を効率的に特定する、モデルに依存しないフレームワークを提案する。この手法は、最小限のオラクルクエリで顕著な未知の未知の検出性能を達成し、実用化されたモデルにおける障害パターンの解釈可能な説明を提供する。

ABSTRACT

Predictive models deployed in the real world may assign incorrect labels to instances with high confidence. Such errors or unknown unknowns are rooted in model incompleteness, and typically arise because of the mismatch between training data and the cases encountered at test time. As the models are blind to such errors, input from an oracle is needed to identify these failures. In this paper, we formulate and address the problem of informed discovery of unknown unknowns of any given predictive model where unknown unknowns occur due to systematic biases in the training data. We propose a model-agnostic methodology which uses feedback from an oracle to both identify unknown unknowns and to intelligently guide the discovery. We employ a two-phase approach which first organizes the data into multiple partitions based on the feature similarity of instances and the confidence scores assigned by the predictive model, and then utilizes an explore-exploit strategy for discovering unknown unknowns across these partitions. We demonstrate the efficacy of our framework by varying the underlying causes of unknown unknowns across various applications. To the best of our knowledge, this paper presents the first algorithmic approach to the problem of discovering unknown unknowns of predictive models.

研究の動機と目的

• 実世界でのモデルの実用化に伴い、学習データの系統的なバイアスに起因する、高信頼度で誤った予測——未知の未知の事項——を特定するという、極めて重要な課題に対処すること。
• モデルのアーキテクチャや学習データにアクセスできないブラックボックスアプローチを構築すること。これには、モデルの予測結果と信頼度スコアのみに依存する。
• 未到達領域の探索と、以前に発見された障害領域の活用のバランスを取る、効率的で適応的なクエリ戦略を設計すること。
• 特徴空間における障害が生じやすい領域を、解釈可能な短縮表現で生成することにより、モデルのデバッグやシステム設計を支援すること。
• 医療や刑事司法など、高リスク分野におけるモデルの不完全性を検出するための基盤的アルゴリズムフレームワークを提供すること。

提案手法

• 特徴と信頼度スコアが類似するインスタンスを解釈可能なパーティションにグループ化する、目的関数としての記述的空間分割（DSP）を提案。これは、ln N近似保証を有するグリーディ近似を用いる。
• マルチアームドバンディットフレームワークを用いて、パーティション間でのオラクルクエリを誘導し、未到達領域の探索と、未知の未知の事項を多く含む領域の活用のバランスを取る。
• オラクルフィードバックを反復的に活用して探索を最適化し、信頼度推定値を更新するとともに、未知の未知の密度が高いパーティションを優先するための探索確率を再重み付けする。
• モデルの信頼度スコアと特徴の類似性という二重基準を用いてパーティションを形成することで、高信頼度の誤りを体系的に隔離する。
• 顕著な特徴範囲と信頼度のしきい値を特定することで、各パーティションに対して人間が読みやすい記述を生成し、モデル開発者による的確な是正や無効化を可能にする。
• クエリ予算が固定されているという制約下で動作し、各オラクルラベルを高コストなリソースとして扱い、1クエリあたりの未知の未知の発見を最大化するように最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習データやアーキテクチャにアクセスできないブラックボックス予測モデルにおいて、未知の未知の事項を体系的かつ効果的に発見する方法は何か？
• RQ2 類似する特徴と信頼度スコアを持つインスタンスを効果的にグループ化するパーティション戦略は何か？ これにより、高信頼度誤りが生じやすい領域を隔離できるか？
• RQ3 限られたオラクルクエリを、特徴空間の多様な領域に効率的に割り当て、未知の未知の事項の検出を最大化する探索・活用メカニズムは何か？
• RQ4 発見されたパーティションは、人間が解釈可能な形で記述可能か？ これにより、モデルデバッグやシステムレベルの緩和戦略が支援可能か？
• RQ5 既存の手法（例：アクティブラーニングや外れ値検出）と比較して、本フレームワークは未知の未知の事項の検出において優れているか？

主な発見

• 提案された記述的空間分割（DSP）手法は、最適パーティション分割のln N近似を達成し、特徴と信頼度の観点から類似するインスタンスをほぼ最適にグループ化する。
• バンディットアルゴリズムに従う探索・活用戦略は、固定クエリ予算下でランダムおよび均等サンプリングに比べ、未知の未知の事項の検出において顕著に優れている。
• 本フレームワークは、画像分類、自然言語処理、表形式データのタスクにおいて、高信頼度の誤った予測を効果的に特定でき、色のバイアスにより白い犬をネコと誤分類するケースなども含む。
• 生成されたパーティションは、『高信頼度、グレーの毛、小さな目』といった解釈可能な記述（例）を提供し、障害パターンと直接的に関連づけることで、モデルの是正や無効化を的確に可能にする。
• 本手法は、ブラックボックス環境下で未知の未知の発見に初めてアルゴリズム的フレームワークを提供するものであり、実世界の展開に向けたスケーラブルで汎用的な解決策を提供する。
• 実験的結果から、本フレームワークは、分布シフトやデータバイアスが生じる状況においても、ベースライン戦略に比べてより高い正確性（precision）と再現率（recall）を達成していることが示された。