[論文レビュー] How to avoid machine learning pitfalls: a guide for academic researchers

Michael A. Lones|arXiv (Cornell University)|Aug 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用数 44

ひとこと要約

このガイドは、学術界における一般的なMLのミスと、それらを避けるための実践的な戦略を概説します。データ準備、モデル構築、評価、公正な比較、報告を網羅します。

ABSTRACT

Mistakes in machine learning practice are commonplace, and can result in a loss of confidence in the findings and products of machine learning. This guide outlines common mistakes that occur when using machine learning, and what can be done to avoid them. Whilst it should be accessible to anyone with a basic understanding of machine learning techniques, it focuses on issues that are of particular concern within academic research, such as the need to do rigorous comparisons and reach valid conclusions. It covers five stages of the machine learning process: what to do before model building, how to reliably build models, how to robustly evaluate models, how to compare models fairly, and how to report results.

研究の動機と目的

• 学術研究における機械学習の適用で一般的な落とし穴を特定する。
• データ理解、データ取り扱い、研究設計に関する実践的なガイドラインを提供する。
• 公演可能性と再現性を向上させるため、厳格なモデル評価、公正な比較、透明な報告を推進する。
• ML作業を現実世界の関連性に結びつけるため、ドメインの専門家や文献との協働を促す。
• 展開時の実用的な配慮と最新のML開発動向を強調し、流行に過度に依存することを避ける。

提案手法

• 基本的な機械学習知識を持つ研究者向けの、構造化されたDo's and Don'tsスタイルガイドを提示する。
• データの出所、品質、展開の考慮など、モデル構築前のデータ中心の前提条件を論じる。
• モデル選択、ハイパーパラメータ調整、深層学習の落とし穴への認識を、最新の参照とともに助言する。

実験結果

リサーチクエスチョン

• RQ1 学術研究において一般的なMLの落とし穴を防ぐ主要な段階と実践は何か？
• RQ2 研究者は一般化可能性を保証するために、MLモデルをどのように信頼性高く構築・評価できるか？
• RQ3 学術研究におけるML結果の公正な比較と透明な報告を確保するための指針は何か？
• RQ4 展開上の考慮事項は研究プロジェクトのML手法にどのように影響すべきか？

主な発見

• 適切なデータ分割、前処理、モデル選択時にテストセットの影響を制限することでデータ漏洩を防ぐ。
• さまざまなモデルを試用し、原則的な最適化を用いてハイパーパラメータを調整する。単一の最良モデルを前提としない。
• データを分割する前にデータ拡張や特徴量選択を行わない。漏洩と偏った評価を防ぐため。
• 適切なテストセット、複数の評価実行、ネストされた交差検証を用いて信頼性の高い性能推定を得る。
• 複数の指標で性能を報告し、手法、限界、データ出所について透明性を持つ。
• ディープラーニングには慎重であるべき：必ずしも優れているわけではなく、大量データと解釈性およびプライバシーの配慮が必要な場合がある。