[論文レビュー] GAM Changer: Editing Generalized Additive Models with Interactive Visualization

Zijie J. Wang, Alex Kale+7 more|arXiv (Cornell University)|Dec 6, 2021

Explainable Artificial Intelligence (XAI)被引用数 14

ひとこと要約

GAM Changer は、データサイエンティストやドメインスペシャリストが、直感的なウェブベースのインターフェースを通じてモデル重みを直接操作することで、一般化加法モデル（GAM）を責任感を持って編集できるオープンソースでインタラクティブな可視化システムです。リアルタイムのフィードバック、公平性への配慮、元に戻せる編集機能を統合し、モデルの挙動をドメイン知識と一致させるものです。医療分野での応用例として、高齢者において肺炎死亡リスクが誤って低下すると予測される反直感的な予測や、喘息が保護的効果を示すという誤った予測の是正が実証されています。

ABSTRACT

Recent strides in interpretable machine learning (ML) research reveal that models exploit undesirable patterns in the data to make predictions, which potentially causes harms in deployment. However, it is unclear how we can fix these models. We present our ongoing work, GAM Changer, an open-source interactive system to help data scientists and domain experts easily and responsibly edit their Generalized Additive Models (GAMs). With novel visualization techniques, our tool puts interpretability into action -- empowering human users to analyze, validate, and align model behaviors with their knowledge and values. Built using modern web technologies, our tool runs locally in users' computational notebooks or web browsers without requiring extra compute resources, lowering the barrier to creating more responsible ML models. GAM Changer is available at https://interpret.ml/gam-changer.

研究の動機と目的

• 解釈可能な機械学習の進展にもかかわらず、モデルの説明が有害なデータパターンを明らかにする一方で、実行可能なモデル編集のギャップを埋めるため。
• ドメインスペシャリストやデータサイエンティストが、ドメイン知識や倫理的価値と矛盾する不適切なモデル行動を是正できるようにするため。
• 追加の計算リソースを必要とせず、ローカルのブラウザ上でモデル編集が可能なため、責任あるAIへの障壁を低減するため。
• 元に戻せる操作と編集履歴の文書化により、モデル編集の透明性と責任性を高めるため。
• 解釈可能性をガイドとしてモデル重みの直接操作を可能にすることで、人間の専門知識を機械学習ライフサイクルに統合するため。

提案手法

• 本システムは四画面構成のインターフェースを採用：GAMキャンバスで特徴量の影響を可視化して編集、メトリクスパネルでリアルタイムの性能フィードバック、特徴量パネルで相関する特徴量や公平性リスクを特定、履歴パネルで編集履歴を追跡・元に戻せる。
• ユーザーはGAMキャンバス上でドラッグアンドドロップまたはワンクリック操作（例：「補間」や「削除」）により、直接的にGAM重みを編集し、予測値をドメイン知識と一致させられる。
• WebAssemblyおよび現代的なウェブ技術を活用して、ノートブックやブラウザ内でローカルで実行されるため、低遅延で安全かつアクセス可能なモデル編集が実現される。
• 編集中に性能のトレードオフや公平性への影響をリアルタイムで可視化する連続的フィードバックメカニズムを採用。
• 連続的およびカテゴリカルな特徴量の両方を編集可能で、例えばリスク曲線の補間や誤った影響（例：喘息が保護的効果を示すという誤った効果）の削除が可能。
• 編集内容は履歴パネルにユーザーのコメントとともに記録され、モデル変更の監査可能性と再現可能性を実現。

実験結果

リサーチクエスチョン

• RQ1 ドメインスペシャリストやデータサイエンティストは、解釈可能性によって明らかにされた有害な行動や反直感的な挙動を、どのように効果的に機械学習モデルで是正できるか？
• RQ2 非専門家ユーザーが安全かつ透明に、複雑なモデル重みを操作できるような、インタラクティブな可視化の設計パターンとは何か？
• RQ3 モデル編集を元に戻せるものとし、監査可能で、ドメイン知識や倫理的価値と整合させるにはどうすればよいか？
• RQ4 ドメイン知識に基づいて予測値を編集する際の、モデル性能と公平性のトレードオフは何か？
• RQ5 解釈可能性と実行可能なモデル変更を統合することで、インタラクティブ編集システムはどのように責任あるAIを支援できるか？

主な発見

• GAM Changer は、81〜86歳の患者において予測された肺炎死亡リスクが低下する反直感的な挙動を、ドメインスペシャリストが是正できたことを実証した。
• 「補間」機能を用いることで、ユーザーが年齢81歳から87歳の間でリスク曲線を線形に調整し、臨床的に妥当な段階的上昇を実現した。
• システムは、高齢者に影響を与える編集が女性に特に顕著に影響を与える傾向があることを、特徴量パネルの相関分析を通じて特定し、公平性上の問題を浮き彫りにした。
• 喘息が肺炎死亡リスクを低下させるという誤った予測は、喘息特徴量の効果を削除することで是正され、喘息患者の平均リスク予測が元に戻った。
• 編集後、メトリクスパネルを通じてリアルタイムでモデルの性能指標をモニタリングし、全体的な予測精度に顕著な低下がないことを確認した。
• 元に戻せるかつ文書化された編集ワークフローにより、ユーザーは変更を比較・元に戻し・正当化でき、モデル開発における責任性と透明性を支えた。