[論文レビュー] Machine Learning State-of-the-Art with Uncertainties

Peter Steinbach, Felicita Gernhardt+3 more|arXiv (Cornell University)|Apr 11, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、機械学習研究における透明性、再現性、厳密性を高めるために、精度指標の信頼区間——特に交差検証とブートストラップを用いた画像分類実験を通じて——報告すべきであると提唱している。著者らは、不確実性を考慮した場合、最先端の論文が無視するこの重要な側面を踏まえると、モデル間の報告された性能差が統計的に有意でないことがあることを示している。

ABSTRACT

With the availability of data, hardware, software ecosystem and relevant skill sets, the machine learning community is undergoing a rapid development with new architectures and approaches appearing at high frequency every year. In this article, we conduct an exemplary image classification study in order to demonstrate how confidence intervals around accuracy measurements can greatly enhance the communication of research results as well as impact the reviewing process. In addition, we explore the hallmarks and limitations of this approximation. We discuss the relevance of this approach reflecting on a spotlight publication of ICLR22. A reproducible workflow is made available as an open-source adjoint to this publication. Based on our discussion, we make suggestions for improving the authoring and reviewing process of machine learning articles.

研究の動機と目的

• 機械学習モデルの性能を報告する際の統計的厳密性の欠如、特にベンチマーク結果における不確実性の定量化の欠如を是正すること。
• 精度指標の信頼区間を用いることで、モデル間の性能差が統計的に意味を持つのかを明らかにすること。
• 不確実性推定を標準的な機械学習評価および査読ワークフローの第一の構成要素として統合することを提唱すること。
• 不確実性を考慮したモデル評価のためのオープンソースで自動化されたワークフローを推進することで、再現性と透明性を向上させること。
• 学術雑誌や会議が不確実性報告を提出基準または必須要件として採用するよう促すこと。

提案手法

• 著者らは、ImageNet-1kをベースにしたImageNetteデータセットを用い、20分割のストラティファイド・クロスバリデーションを実施し、複数のランダムシードを用いてホールドアウト精度を算出している。
• 正規近似を用いて、点推定されたモデル精度の1σおよび2σ信頼区間を計算しており、以下の式を用いている: $ \hat{\sigma} = z \sqrt{ \frac{1}{n_{\text{holdout}}} \cdot \text{ACC}_{\text{holdout}} \cdot (1 - \text{ACC}_{\text{holdout}}) } $。
• この手法は、ResNet、ResNeXt、Vision Transformerの3つのアーキテクチャを対象とし、複数のランダムシードを用いて性能のばらつきを評価する。
• 著者らは、データ、コード、結果をリンクする完全に再現可能でバージョン管理されたワークフローを構築するためにSnakemakeを用いている。
• 不確実性区間を含む・含まない結果を比較し、視覚化を用いて重複する信頼区間が、有意な性能向上の主張を弱体化させることを強調している。
• 正式な仮説検定にはMcNemar検定などの既存の統計ツールを活用しているが、本研究では、こうした厳密な手法への実用的で一時的な代替手段として、不確実性の近似を位置づけている。

実験結果

リサーチクエスチョン

• RQ1 報告された最先端モデル間の性能差が、不確実性区間を適切に考慮した場合、どの程度統計的に有意なままであるのか。
• RQ2 一般的な機械学習評価設定において、標準的な統計手法を用いて精度の不確実性をどのように近似できるか。
• RQ3 不確実性報告が、査読済み機械学習研究におけるモデル比較の信頼性と解釈にどのような影響を与えるか。
• RQ4 不確実性推定を標準的な機械学習評価パイプラインに統合することは、計算コストを著しく増加させることなく可能か。
• RQ5 なぜ不確実性推定がしばしば機械学習の論文で無視されるのか。査読プロセスは、それを優先するようにどのように改善できるか。

主な発見

• ResNe(X)Tモデルの信頼区間は非常に狭く、重複しているため、報告された性能差は統計的に有意とは言えない。
• ビジョントランスフォーマーのモデルは、最も高い性能を示すResNe(X)Tモデルと比較して低い精度を示し、その信頼区間は重複していないため、より信頼できる性能差が存在することが示された。
• ICLR 2022のスポットライト論文の再分析において、MSA（マルチヘッド自己注意）モジュールを備えたモデルの95％信頼区間が、MSAなしのベースラインモデルとすべて重複しており、性能向上の有意性を覆す結果となった。
• ICLR 2022の提出物において、不確実性の欠如に関する査読者からのフィードバックがほとんどなかったことから、現在の査読プロセスが、モデル比較における統計的過信を検出・是正するのには不十分であることが示された。
• 標準的なクロスバリデーション設定下では、二項分布の精度に対する正規近似が有効であることが確認され、不確実性推定のための信頼性がありアクセスしやすいツールであることが分かった。
• 著者らは、Snakemakeと公開コードリポジトリを用いたバージョン管理された再現可能ワークフローを活用することで、不確実性を考慮した評価が今日のソフトウェアスタックで実現可能であることを示した。