[論文レビュー] The Need for Interpretable Features: Motivation and Taxonomy

Alexandra Zytek, Ignacio Arnaldo+3 more|arXiv (Cornell University)|Feb 23, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、機械学習モデルの解釈可能性は、その特徴量に依存するものであり、意味のある、理解しやすい、人間が使う言葉で表現された、およびシミュレータブルな特徴量の性質といった、解釈可能な特徴量の性質を形式的に分類することを提唱している。行動可能な分野固有の説明を導くために、モデルに適した特徴量を解釈可能な形に変換する変換手法（例：意味的ビニング、非標準化符号化）を導入し、モデル性能と同様に特徴量の解釈可能性が現実世界の意思決定において極めて重要であることを強調している。

ABSTRACT

Through extensive experience developing and explaining machine learning (ML) applications for real-world domains, we have learned that ML models are only as interpretable as their features. Even simple, highly interpretable model types such as regression models can be difficult or impossible to understand if they use uninterpretable features. Different users, especially those using ML models for decision-making in their domains, may require different levels and types of feature interpretability. Furthermore, based on our experiences, we claim that the term "interpretable feature" is not specific nor detailed enough to capture the full extent to which features impact the usefulness of ML explanations. In this paper, we motivate and discuss three key lessons: 1) more attention should be given to what we refer to as the interpretable feature space, or the state of features that are useful to domain experts taking real-world actions, 2) a formal taxonomy is needed of the feature properties that may be required by these domain experts (we propose a partial taxonomy in this paper), and 3) transforms that take data from the model-ready state to an interpretable form are just as essential as traditional ML transforms that prepare features for the model.

研究の動機と目的

• 実世界の機械学習応用において、非技術的分野専門家にとって特徴量が本当に解釈可能である要因を理解するギャップを埋めること。
• モデルの解釈可能性は、モデルアーキテクチャそのものではなく、入力特徴量の解釈可能性に根本的に制限されることを主張すること。
• 多様な分野で利用可能な、意味的、理解しやすい、人間が使う言葉で表現されたといった特徴量の性質の形式的分類を開発すること。
• モデルに適した特徴量空間と解釈可能な特徴量空間の間のギャップを埋めるために、意味的ビニングや非標準化符号化といった特徴量変換の重要性を強調すること。
• 機械学習開発の焦点を、モデル性能のみに注目するのではなく、意思決定ワークフローにおける特徴量の使いやすさにシフトすることを提唱すること。

提案手法

• 児童福祉、医療、サイバーセキュリティなどの分野における実世界の導入事例に基づき、解釈可能な特徴量の性質の分類を提唱する。
• 意味的ビニング、カテゴリカル符号化、フラグなし補完といった、生データから解釈可能な特徴量を生成する主要な変換を同定する。
• 意思決定者、倫理委員会委員などのユーザーロールを、必要な特徴量の性質にマッピングし、異なるステークホルダーが異なるレベルの解釈可能性を必要とすることを示す。
• 分野専門家にとって意味的かつ行動可能な特徴量の状態としての「解釈可能な特徴量空間」の概念を導入する。
• 従来の正規化やワンホットエンコーディングといった前処理ステップと同等に、解釈可能な特徴量変換を機械学習パイプラインに統合することを提言する。
• 児童福祉、教育、サイバーセキュリティ、電子歴史記録（EHRs）、人工衛星監視の5つの分野における事例研究を通じて、分類を実務に根ざしたものとする。

実験結果

リサーチクエスチョン

• RQ1 実世界の機械学習応用において、非技術的分野専門家にとって特徴量が解釈可能で有用であるために必要な、特徴量の具体的な性質は何か？
• RQ2 意思決定者、倫理委員会委員、開発者といった異なるステークホルダーの役割は、特徴量の解釈可能性に関して、どのような異なるレベルと種類を必要とするか？
• RQ3 モデルに適した特徴量を、分野専門家にとって意味的で理解しやすく、人間が使う言葉で表現された特徴量に変換するために必要な変換は何か？
• RQ4 特徴量空間の選択が、機械学習の説明の忠実度、プライバシー、パフォーマンスに与える影響は何か？
• RQ5 解釈可能性、モデル性能、データプライバシーの観点から、説明可能性のための特徴量設計において、どのようなトレードオフが生じるか？

主な発見

• 意味的でない特徴量を使用する場合、たとえ単純な線形回帰のようなモデルであっても、解釈不能になる。これは、モデルの解釈可能性が特徴量の解釈可能性に依存することを示している。
• 意思決定者（機械学習の知識のない者）にとって特徴量が有用であるためには、意味的で、理解しやすく、人間が使う言葉で表現され、読みやすいことが不可欠である。これは児童福祉や医療分野の応用で実証された。
• 意味的ビニングや非標準化符号化といった変換は、解釈可能な特徴量を生成するために不可欠である。一方、ワンホットエンコーディングや標準化補完といったモデルに適した変換は、解釈可能性を低下させる。
• 解釈可能な特徴量空間は、単一の状態ではなく、特定のユーザーニーズに合わせた性質のスケールであり、サイバーセキュリティや教育といった分野では、それぞれ異なる要件を持つ。
• 感受性の高い変数を要約概念にグループ化するような意図的な特徴量設計は、モデルバイアスを隠す可能性があり、高リスク分野の応用では倫理的リスクをもたらす。
• 解釈可能な特徴量の優先は、モデル性能の低下やデータプライバシーの損ないを引き起こす可能性があり、特徴量設計において文脈に応じたトレードオフをとる必要がある。