[論文レビュー] RuleMatrix: Visualizing and Understanding Classifiers with Rules

Yao Ming, Huamin Qu+1 more|arXiv (Cornell University)|Jul 17, 2018

Explainable Artificial Intelligence (XAI)参考文献 36被引用数 5

ひとこと要約

RuleMatrixは、訓練済みのブラックボックス分類器からルールベースの説明を抽出し、行列インターフェースに提示することで、非専門家ユーザーの解釈可能性を向上させるインタラクティブ可視化手法である。ドメインエキスパートは、直感的なフィルタリング、強調表示、ルールナビゲーションを通じて、モデルの意思決定を探索・検証・理解できる。機械学習の専門知識を必要とせず、モデルの透明性を著しく向上できる。

ABSTRACT

With the growing adoption of machine learning techniques, there is a surge of research interest towards making machine learning systems more transparent and interpretable. Various visualizations have been developed to help model developers understand, diagnose, and refine machine learning models. However, a large number of potential but neglected users are the domain experts with little knowledge of machine learning but are expected to work with machine learning systems. In this paper, we present an interactive visualization technique to help users with little expertise in machine learning to understand, explore and validate predictive models. By viewing the model as a black box, we extract a standardized rule-based knowledge representation from its input-output behavior. We design RuleMatrix, a matrix-based visualization of rules to help users navigate and verify the rules and the black-box model. We evaluate the effectiveness of RuleMatrix via two use cases and a usability study.

研究の動機と目的

• 機械学習の知識が限られたドメインエキスパートが複雑な機械学習モデルを解釈できるようにする挑戦に応えること。
• 高性能なブラックボックスモデルとユーザー理解のギャップを埋めるために、ルールベースの説明を生成すること。
• モデルの動作とルールの妥当性を体系的に探索できるインタラクティブ可視化を設計すること。
• ルールベースの可視化が、ユーザーのモデル理解と信頼性の向上にどの程度効果的かを評価すること。
• 医療やクレジット承認といった実世界のユースケースにおいて、RuleMatrixの有効性を示すこと。

提案手法

• まず、モデル誘導アルゴリズム（SBRL）を用いて、入力のブラックボックス分類器の入力出力挙動を近似するルールリストを抽出する。
• 各ルールは特徴量の条件の論理積（AND）として表現され、予測の信頼度に基づいてクラスラベルが割り当てられる。
• ルールは、各行が1つのルール、各列が1つの特徴量である行列形式で可視化され、クラスラベルは色でエンコードされる。
• インタラクティブ操作として、ルール条件によるデータのフィルタリング、詳細表示のためのルールの展開、関連するデータインスタンスの強調表示が可能である。
• コントロールパネルにより、ルールの複雑さ、フィルタリング基準、特徴量の可視性といった可視化パラメータを調整できる。
• データフロー表示とサポート表示の両方を備え、予測の生成経路や各ルールを満たす訓練インスタンスの数を追跡するのを支援する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのインターフェースは、非専門家ユーザーにとってブラックボックス分類器の解釈可能性を向上させることができるか？
• RQ2 RuleMatrix可視化は、ユーザーがモデルの意思決定を探索・検証するのをどの程度効果的に支援するか？
• RQ3 視覚的ルール表現は、テキスト形式のルールリストと比較して、使いやすさと理解度にどのような利点をもたらすか？
• RQ4 ユーザーは、モデル動作の診断において、ルール行列の明確さと直感性をどの程度高く評価するか？
• RQ5 フィルタリングや強調表示といったインタラクティブ機能は、複雑なルールセットの理解を向上させることができるか？

主な発見

• ユーザビリティ研究において、ユーザーは展開、強調表示、フィルタリングといったインタラクティブ機能が、複雑なルールセットをナビゲートするうえで非常に有用かつ直感的であると評価した。
• 参加者たちは、視覚的マトリクスのおかげでルール内の仮説を特定し、モデルの挙動（正しさやデータのサポート）を理解しやすくなったと報告した。
• テキスト形式のルール表現では、区間条件（例：'x < 29' と '29 < x' を混同）の解釈に誤りが生じる傾向があり、視覚的表現がテキスト形式を上回ることを確認した。
• ルール誘導アルゴリズム（SBRL）は、妥当な忠実度を持つルールリストを生成したが、20万件のサンプルデータセットでは約30分の処理時間に制限された。
• 視覚的インターフェースは、100件を超えるルールと30個の特徴量を含む場合でも、モデル意思決定の理解を効果的に支援したが、可読性の検証は60ルールと20特徴量までに限定された。
• 1名の参加者が、ルールが論理積（AND）関係でのみ構成されることを理解できず、今後の設計においてより明確な視覚的インジケータの導入が求められると示唆した。