[論文レビュー] Prediction Scores as a Window into Classifier Behavior

Medha Katehara, Emma Beauxis-Aussalet+1 more|ArXiv.org|Nov 18, 2017

Machine Learning and Data Classification参考文献 3被引用数 3

ひとこと要約

本論文では、多クラス分類器の予測スコアを分析することで分類器の挙動、信頼性、バイアスを明らかにするインタラクティブなウェブベースの可視化システム、Classilistを紹介する。スコア分布を分類の正誤とサンプルの特徴にリンクさせることで、個々のクラスごとの詳細な分析が可能となり、誤分類のパターン、スコアの不適切なキャリブレーション、クラス固有のバイアスといった問題を特定する。これにより、モデルの解釈性と設計の改善に役立つインサイトが得られる。

ABSTRACT

Most multi-class classifiers make their prediction for a test sample by scoring the classes and selecting the one with the highest score. Analyzing these prediction scores is useful to understand the classifier behavior and to assess its reliability. We present an interactive visualization that facilitates per-class analysis of these scores. Our system, called Classilist, enables relating these scores to the classification correctness and to the underlying samples and their features. We illustrate how such analysis reveals varying behavior of different classifiers. Classilist is available for use online, along with source code, video tutorials, and plugins for R, RapidMiner, and KNIME at https://katehara.github.io/classilist-site/.

研究の動機と目的

• 多クラス分類器においてトップクラスの予測を超えた予測スコアの体系的分析の不足に対処すること。
• 予測スコアの分布の可視的探索を通じて、研究者や実務家が分類器の挙動、信頼性、データ品質の問題を診断できるようにすること。
• 予測スコアと分類の正誤および下位のサンプル特徴を関連付ける、インタラクティブでスケーラブルかつアクセス可能なツールを提供すること。
• スコアのパターン、誤検出の分布、クラス固有の挙動を可視化することで、異なる分類器間の比較分析を支援すること。
• R、RapidMiner、KNIME用のプラグインおよびウェブベースのインターフェースを通じて、予測スコア分析を誰にでも利用可能にする。

提案手法

• Classilistは、各クラスの予測スコアの分布をヒストグラムで表示し、分類結果（真陽性、偽陽性、偽陰性）に応じて色分けする。
• 複数のビュー（スコアヒストグラム、特徴のボックスプロット、混同行列、サンプルビューア）間でブラシングとリンクを統合する。
• ユーザーは分類の正誤とスコア範囲でサンプルをフィルタリングでき、確率軸を動的に調整して有効なスコア範囲に焦点を当てる。
• システムはインタラクティブな探索を可能にし、ヒストグラムのバーをクリックすると、すべてのビュー（他のクラスでの誤分類インスタンスを含む）に該当するサンプルが強調表示される。
• スコアがゼロでない真陰性をフィルタリングすることで、境界に近いケースや潜在的な誤分類リスクを特定できる。
• Classilistはオープンソースのウェブアプリケーションとして構築されており、R、RapidMiner、KNIME用のプラグインを備え、機械学習パイプラインに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 異なる分類器における予測スコア分布はどのように異なるのか。また、それらはモデルの挙動について何を明らかにするか？
• RQ2 高信頼度の予測はどれほど正しく分類されるか。また、高スコアにもかかわらず失敗する場面はどこにあるか？
• RQ3 スコア分布の可視化は、誤標識されたサンプルやクラスの重複といった、クラス固有のバイアスやデータ品質の問題をどのように露わにするか？
• RQ4 スコア分布のインタラクティブな探索は、特徴レベルのパターンや曖昧なサンプル表現といった誤分類の原因を特定するのをどのように支援するか？
• RQ5 解釈可能性とインタラクティブ性を維持したまま、数十クラスにまでスケーリング可能な可視化システムはどのように実現できるか？

主な発見

• k=2のk近傍法分類器では、数字'5'に対して三峰性のヒストグラムが得られ、近傍のクラス構成に基づく明確なクラスタが特定された—2つ、1つ、0つの近傍'5'サンプルに対応する3つのピークが観察された。
• ナイーブベイズ分類器は、クラス'5'の最高スコアボックスに偽陽性が集中しており、高い信頼度の予測にもかかわらずスコアのキャリブレーションが著しく不適切であることを示している。
• ニューラルネットワーク分類器は、予測スコアが低下するにつれて誤り率が徐々に上昇しており、低信頼度領域では一貫性はあるが、信頼性が低い挙動を示している。
• クラス'5'は、正しく分類されても常に低スコアが割り当てられるという強いバイアスを示しており、これは主にデータセット内でのクラス内変動が大きいことに起因している。
• クラス'5'のスコアが20%〜40%のサンプルはほとんどが実際の'5'であったが、誤分類されていた。これは、重み付けによるスコアの再キャリブレーションによって誤りを減らせるが、偽陽性は増加させない可能性があることを示唆している。
• 可視化により、特定のクラスに対してスコアがゼロでない真陰性は、入力の小さな摂動に対しても誤分類リスクが極めて高い境界ケースであることが明らかになった。