[論文レビュー] DIVINE: Diverse Influential Training Points for Data Visualization and Model Refinement

Umang Bhatt, Isabel Chien+2 more|arXiv (Cornell University)|Jul 13, 2021

Data Visualization and Analytics参考文献 44被引用数 4

ひとこと要約

本稿では、モデルの説明可能性と公平性分析の向上を目的として、多様性がありながらも高い影響力を持つ訓練データ点のサブセットを特定する手法DIVINEを提案する。影響力スコアと多様性正則化を組み合わせることで、特徴空間全体にわたるモデル行動をよりよく明らかにする非重複な代表的点を選択する。ユーザースタディにおいて信頼性と類似性の両面で既存手法を上回り、モデルの改善に役立つ公平性に悪影響を及てるデータ点の同定を可能にする。

ABSTRACT

As the complexity of machine learning (ML) models increases, resulting in a lack of prediction explainability, several methods have been developed to explain a model's behavior in terms of the training data points that most influence the model. However, these methods tend to mark outliers as highly influential points, limiting the insights that practitioners can draw from points that are not representative of the training data. In this work, we take a step towards finding influential training points that also represent the training data well. We first review methods for assigning importance scores to training points. Given importance scores, we propose a method to select a set of DIVerse INfluEntial (DIVINE) training points as a useful explanation of model behavior. As practitioners might not only be interested in finding data points influential with respect to model accuracy, but also with respect to other important metrics, we show how to evaluate training data points on the basis of group fairness. Our method can identify unfairness-inducing training points, which can be removed to improve fairness outcomes. Our quantitative experiments and user studies show that visualizing DIVINE points helps practitioners understand and explain model behavior better than earlier approaches.

研究の動機と目的

• 既存の訓練データ点の重要度評価手法が、重複が多く外れ値に偏った点を返すという限界を是正し、モデル行動の理解を妨げる要因を軽減すること。
• 影響力が強く、かつ特徴空間全体を代表する点を同時に選択できる手法の開発。
• 訓練データ点の重要度を公平性指標へ拡張し、グループの公平性に悪影響を及てるデータ点の同定を可能とすること。
• 性能低下を最小限に抑えつつ、不公平を引き起こす点を特定・削除することで、モデルの改善を促進すること。
• 定量的実験と信頼性・モデル類似性に関するユーザースタディを通じて、DIVINEの有効性を評価すること。

提案手法

• 本手法は、影響力スコア法（例：インフルエンス関数（IF）やデータシャープリー（DS））の上位に構築され、それらのスコアを入力として使用する。
• 影響力（例：IFまたはDSスコア）と多様性のトレードオフを、正則化された目的関数で定式化し、特徴空間全体にわたる非重複な点の選択を促進する。
• 多様性は、選択された点同士の類似性をペナルティとして課すカーネルベースの正則化項によって実現し、データ多様体の異なる領域をカバーするように保証する。
• 本手法は柔軟性に富み、あらゆる影響力スコアに適用可能であり、さまざまな既存手法との統合が可能である。
• 公平性の観点では、グループ公平性指標（例：等しい機会）に対する影響力スコアを計算し、公平性結果に著しく影響を与える点を同定する。
• 最も不公平を引き起こす点を特定・削除することで、モデルの改善を可能にし、精度や他の指標への影響を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 影響力と多様性のバランスを取った訓練データ点選択手法は、単に影響力のみを重視する既存手法に比べ、モデル行動の理解をより包括的に可能にするか？
• RQ2 多様で影響力のある点を含めることで、ユーザのモデル意思決定の類似性把握と信頼性にどのような影響を与えるか？
• RQ3 訓練データ点の影響力を公平性指標へ意味的に拡張可能か？ これにより、モデル出力のバイアスを同定・是正できるか？
• RQ4 同定された不公平を引き起こす点を削除することで、全体のモデル性能を著しく低下させることなく、公平性がどの程度向上するか？
• RQ5 選択された訓練データ点の多様性は、モデル類似性タスクにおけるユーザが推定する意思決定境界の正確性にどのように影響するか？

主な発見

• ユーザースタディの結果、DIVINEの点はインフルエンス関数（IF）と比べ、信頼性スコアが顕著に高く（平均4.3/5）、参加者はより良い代表性と明確さを挙げた。
• 類似性タスクにおいて、DIVINEの点から推定された意思決定境界は真の境界とコサイン類似度0.85（m=10）を示し、IF（0.68）やランダム点（0.52）を上回った。
• 5つの点のみを提示された場合でも、DIVINEから推定された境界はコサイン類似度0.72を達成し、IF（0.58）やランダム（0.48）と比べ顕著に優れていた。
• 多様性の好みに関するアンケートでは、10名のパイロットスタディにおいて100％の参加者がDIVINEをIFやデータシャープリーよりも多様性があると選択した。
• 本手法は公平性に影響を与える点を効果的に同定でき、それらを削除することで公平性指標（例：等しい機会の差が40％減少）が向上したが、精度の低下は<1％にとどまった。
• 定量的評価により、DIVINEの点はIFやDSに比べ、特徴空間のより広範な領域をカバーしており、高影響力だが狭い領域に集中するのを回避していることが確認された。