[論文レビュー] Interpretable Active Learning

Richard L. Phillips, Kyu Hyun Chang+1 more|arXiv (Cornell University)|Jul 31, 2017

Machine Learning and Algorithms参考文献 14被引用数 11

ひとこと要約

本論文では、LIMEに基づく説明を用いてアクティブラーニングのクエリを解釈する手法を提案し、差別の的影響にインspiredされた新たな不確実性バイアス指標を導入して、モデルの不確実性におけるサブグループの不平等を定量的に追跡する。個々のクエリの不確実性に関する説明を生成し、共通する不確実性要因に基づいてポイントをクラスタリングすることで、ドメインエキスパートはなぜ特定のサンプルが選択されたかを理解できるようになるとともに、時間経過とともに保護されたグループや意味のあるサブグループにおける不確実性の解消がどのように進むかを追跡できる。

ABSTRACT

Active learning has long been a topic of study in machine learning. However, as increasingly complex and opaque models have become standard practice, the process of active learning, too, has become more opaque. There has been little investigation into interpreting what specific trends and patterns an active learning strategy may be exploring. This work expands on the Local Interpretable Model-agnostic Explanations framework (LIME) to provide explanations for active learning recommendations. We demonstrate how LIME can be used to generate locally faithful explanations for an active learning strategy, and how these explanations can be used to understand how different models and datasets explore a problem space over time. In order to quantify the per-subgroup differences in how an active learning strategy queries spatial regions, we introduce a notion of uncertainty bias (based on disparate impact) to measure the discrepancy in the confidence for a model's predictions between one subgroup and another. Using the uncertainty bias measure, we show that our query explanations accurately reflect the subgroup focus of the active learning queries, allowing for an interpretable explanation of what is being learned as points with similar sources of uncertainty have their uncertainty bias resolved. We demonstrate that this technique can be applied to track uncertainty bias over user-defined clusters or automatically generated clusters based on the source of uncertainty.

研究の動機と目的

• ドメインエキスパートが理解できるように、不確実性の局所的・インスタンスレベルの説明を提供することで、アクティブラーニングのクエリを解釈可能にする。
• 差別的影響にインspiredされた新たな不確実性バイアス指標を用いて、サブグループ間におけるモデルの不確実性の不平等を定量化する。
• エキスパートがどのデータクラスタが探索されているか、そしてなぜそうなるかを理解できるようにすることで、アクティブラーニングの評価と指導を可能にする。
• 不確実性バイアスが、特に複雑な現実世界のデータセットにおいて、不確実性が高いためにターゲットとされるサブグループの焦点を正確に反映していることを示す。
• クエリ選択と説明可能な不確実性パターンを結びつけることで、高コストのラベリング環境におけるエキスパートのフィードバックと意思決定を支援する。

提案手法

• LIMEを適応し、個々のアクティブラーニングクエリに対して局所的かつ忠実な説明を生成し、予測の不確実性に最も寄与する特徴を特定する。
• 不確実性バイアスを、サブグループと全人口との間のモデルの信頼度の絶対差として定義し、クエリ選択におけるシステム的バイアスを測定する。
• クラスタリングの目的で、共通する不確実性要因（例：不確実性に寄与する類似した特徴）に基づいてデータポイントをグループ化し、ユーザー定義または自動生成されたクラスタを用いる。
• 各ラベリングラウンド後にクラスタごとに不確実性バイアスを計算することで、時間経過に伴うバイアスの変化を追跡する。
• 特徴寄与度の差に2%のしきい値を適用し、不確実性説明における顕著な属性を特定する。これにより、ドメインエキスパートが説明の詳細度を調整可能になる。
• 高次元でドメイン特化された特徴を有する現実世界のデータセット（ProPublicaおよびDark Reactions）に本フレームワークを適用し、解釈可能性とバイアス追跡の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングのクエリを、ドメインエキスパートが理解できる形でどのように説明できるか？
• RQ2 アクティブラーニング戦略が、不確実性がより高いサブグループに偏ってターゲットを定める程度はどの程度で、その偏りはどのように定量化できるか？
• RQ3 不確実性バイアスは、アクティブラーニングの過程でサブグループ間の不確実性の不平等を信頼性高く追跡する指標として機能するか？
• RQ4 不確実性の特徴レベルの説明は、エキスパートがクエリ選択プロセスを理解し、指導するためにどのように役立つか？
• RQ5 不確実性要因に基づく自動生成クラスタは、学習の軌道に関する意味のある解釈可能なインサイトを提供できるか？

主な発見

• 不確実性バイアス指標は、サブグループ間でのモデル信頼度の不平等を効果的に定量化し、アクティブラーニングのクエリが、不確実性がより高いクラスタを系統的にターゲットにしていることを明らかにした。
• ProPublicaデータセットでは、上位6つのラベル付きクラスタに明確な不確実性バイアスのパターンが見られ、最も多くクエリが発生したクラスタは最大のバイアスを示しており、高不確実性領域への的確な探索が行われていたことが示された。
• Dark Reactionsデータセットでは274の特徴が分析され、ほとんどのクラスタに少なくとも1つの顕著な不確実性要因（2%のしきい値を超える）が存在した。一部のクラスタでは、多様で複雑な不確実性要因の組み合わせが観察され、不確実性の多面的性質が裏付けられた。
• Dark Reactionsデータセットで最も探索が進んだクラスタには、支配的な特徴が1つもなかったため、不確実性の多様性が高かったことが示された。一方、類似した不確実性要因を持つ他のクラスタは同時に探索されており、クエリの焦点が一貫していることが確認された。
• エキスパートによる検証済みの直感と説明が一致した：長時間継続するが中程度の温度の反応は、成功の可能性は高いが失敗率も高いという特徴から、不確実性バイアスが高かった。一方、短時間の反応はより予測可能であった。
• 本手法により、2%のしきい値を用いることでエキスパートが説明の粒度を調整可能となり、解釈可能な特徴に依存せずに、不確実性要因への詳細な洞察を得られるようになった。