[論文レビュー] Capabilities for Better ML Engineering

Chenyang Yang, Rachel Brower–Sinning+3 more|arXiv (Cornell University)|Nov 11, 2022

Scientific Computing and Data Management被引用数 5

ひとこと要約

本論文は、機械学習のライフサイクル全体にわたり、人間の期待（例：天候の変化に対する頑健性、年齢層ごとの公平性）を細分化された行動指向の仕様として捉える能力ベースのフレームワークを提案する。このフレームワークにより、機械学習工学の統合と強化が図られ、予備的な実験では能力がモデルの汎用性を効果的に示す信号として機能することが示された。これにより、テスト、デバッグ、デプロイメントの改善が可能になる基盤が得られる。

ABSTRACT

In spite of machine learning's rapid growth, its engineering support is scattered in many forms, and tends to favor certain engineering stages, stakeholders, and evaluation preferences. We envision a capability-based framework, which uses fine-grained specifications for ML model behaviors to unite existing efforts towards better ML engineering. We use concrete scenarios (model design, debugging, and maintenance) to articulate capabilities' broad applications across various different dimensions, and their impact on building safer, more generalizable and more trustworthy models that reflect human needs. Through preliminary experiments, we show capabilities' potential for reflecting model generalizability, which can provide guidance for ML engineering process. We discuss challenges and opportunities for capabilities' integration into ML engineering.

研究の動機と目的

• モデルのテスト、デバッグ、評価における散在した実践を統合することで、機械学習工学の断片的な状態に歯止めをかけること。
• 現在の機械学習工学の取り組みが、プロトタイピング、テスト、デプロイメントに限定されており、ライフサイクル全体にわたる連携が制限されていることを見抜くこと。
• 標準的な指標を超えて、人間中心の期待（例：頑健性、公平性、推論能力）を捉える包括的な指定メカニズムとして能力を提案すること。
• 能力がモデル設計、デバッグ、共同作業、外部QA、保守にわたり、段階間の整合性を図れるようにする仕組みを示すこと。
• 実世界の機械学習工学における能力の発見、評価、伝達、実装における主な課題を特定すること。

提案手法

• 能力を、ユーザーが機械学習モデルに期待する行動指向の細分化された仕様として定義する（例：車いす利用者の歩行者を検出すること、極端な天候に対応すること）。
• 具体的なシナリオ（モデル設計、デバッグ、保守、共同作業、外部QA）を用いて、能力が機械学習ライフサイクル全体にどのように適用されるかを説明する。
• データキュレーション（例：車いす利用者の画像を収集すること）、分布シフトのシミュレーション（例：晴れの画像を雨の画像に変換すること）、スライスベースのテスト（例：歩行者の年齢別に分けること）などのインスタンシエーション戦略を提案する。
• 境界オブジェクトや変換的テストなどのソフトウェア工学および要件工学の既存手法を活用し、能力の伝達と運用化を支援する。
• 分布シフト下での性能低下を指標として用い、能力がモデルの汎用性をどの程度反映するかを評価するための探索的調査を実施する。
• 能力を階層的構造（例：『否定の理解』という一般的な能力に『二重否定の処理』といったサブ能力が含まれる）として定式化する。

実験結果

リサーチクエスチョン

• RQ1 能力は、異なる機械学習工学の文脈において、どのように効果的に発見され、再利用可能になるか？
• RQ2 エラー解析の過程で、人間とAIの対話を改善するためのメカニズムは何か？ これにより能力の特定が支援される。
• RQ3 専門家と非専門家の両方が関与できる、スケーラブルなプロセスを設計するにはどうすればよいか？
• RQ4 再利用可能性と特異性の両立を図るには、能力の最適な粒度はどの程度か？
• RQ5 文脈と予測力に基づいて、能力をどのように評価・ランク付けすべきか？

主な発見

• 予備的な実験では、能力が分布シフト下での性能低下を捉える強力な指標として機能することが示された。
• 能力の階層的性質により、広範で再利用可能な仕様と、細分化されたドメイン固有の行動を一貫してモデル化できる。
• データキュレーション、分布シフトのシミュレーション、スライスベースのテストといったインスタンシエーション戦略は、抽象的な能力から具体的なテストケースを効果的に生成できる。
• 特に専門家と非専門家が能力を異なる方法で記述する場合に、共通の語彙と矛盾解決メカニズムの導入が、ステークホルダーの期待を一致させるために明確に必要である。
• 能力を機械学習工学に統合するには、発見、伝達、インスタンシエーションの課題に対処する必要があり、自動化およびツール支援の大きな可能性を秘めている。
• ユニットテストや変換的テストといった既存のソフトウェア工学の実践は、機械学習ワークフローにおける能力の運用化を支援する。