[論文レビュー] Levels of Analysis for Machine Learning

Jessica B. Hamrick, Shakir Mohamed|arXiv (Cornell University)|Apr 6, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 4

ひとこと要約

本論文は、機械学習研究における統合的概念的枠組みとして、マールの分析レベル（計算論的、アルゴリズム的、実装論的）を採用することを提唱する。Deep Q-Networks や医療分野の機械学習システムといった事例研究にこのフレームワークを適用することで、研究者が抱える仮定を明確にし、議論の対立を解消し、異なる研究レベル間での批判的議論を改善できることが示された。

ABSTRACT

Machine learning is currently involved in some of the most vigorous debates it has ever seen. Such debates often seem to go around in circles, reaching no conclusion or resolution. This is perhaps unsurprising given that researchers in machine learning come to these discussions with very different frames of reference, making it challenging for them to align perspectives and find common ground. As a remedy for this dilemma, we advocate for the adoption of a common conceptual framework which can be used to understand, analyze, and discuss research. We present one such framework which is popular in cognitive science and neuroscience and which we believe has great utility in machine learning as well: Marr's levels of analysis. Through a series of case studies, we demonstrate how the levels facilitate an understanding and dissection of several methods from machine learning. By adopting the levels of analysis in one's own work, we argue that researchers can be better equipped to engage in the debates necessary to drive forward progress in our field.

研究の動機と目的

• 機械学習分野で繰り返し発生する未解決の議論を解消するための共通の概念的枠組みを提供すること。
• 研究者間の異なる参照枠組みが原因で生じる議論の不整合を解消すること。
• マールの分析レベルが、機械学習手法の構造化と比較に有用であることを示すこと。
• 研究者が自らの研究にこのフレームワークを適用することで、隠れた仮定を明らかにし、批判的関与を高めることを促すこと。
• 解釈可能性やバイアスといった新たな懸念が高まる中で、マールの分析レベルを、将来的な機械学習分野の概念的発展の基盤とする位置づけをすること。

提案手法

• マールの三段階フレームワーク（計算論的：システムの目的、アルゴリズム的：表現とアルゴリズム、実装論的：物理的またはソフトウェア的実装）を採用する。
• Deep Q-Networks や変分オートエノード、医療分野の機械学習応用を含む、実世界の機械学習システムにこのフレームワークを適用する。
• Q学習とSARSAのような異なるアルゴリズム的選択肢や、ターゲットネットワークやリプレイバッファのような実装的詳細を、レベル別に分解・比較する。
• あるレベル（例：計算論的目標）における仮定が、他のレベル（例：アルゴリズム的表現）における選択を制約または形作る仕組みを強調する。
• DQNにおけるオブジェクト理解の仮定や、医療分野の機械学習におけるデータ収集タイミングといった、暗黙の仮定を明示することで、それらがどのように影響を及ぼすかを示す。
• アーキテクチャ-損失、アルゴリズム-ソフトウェare-ハードウェアといった代替的概念モデルと比較し、マールのフレームワークがより広範かつ実用的であると主張する。

実験結果

リサーチクエスチョン

• RQ1 マールの分析レベルは、現在解決に至らない継続的な機械学習分野の議論をどのように解消するのだろうか？
• RQ2 異なる分析レベルが、機械学習システムの目的、表現、実装に関する仮定をどのように明確にするのか？
• RQ3 分析レベルを適用することで、DQN や VAE といった機械学習手法の批判的評価は、どのような点で改善されるのか？
• RQ4 アルゴリズム的または実装論的レベルにおける設計選択は、システムの計算論的目標にどのように反映され、あるいは制限されるのか？
• RQ5 分析レベルは、医療分野の機械学習システムのような実世界の応用におけるバイアスの原因や失敗モードを特定するのを助けることができるか？

主な発見

• マールの分析レベルを適用することで、DQNにおけるスカラール報酬の最大化という計算論的目標といった、機械学習研究における暗黙の仮定が露呈される。この仮定は、人間のオブジェクト理解と一致しない可能性がある。
• 深層強化学習に対する批判（例：Breakoutにおけるエージェントのオブジェクト理解の欠如）は、計算論的レベルに明確に位置づけられ、オブジェクト発見を含む目標の再定義が求められる。
• 医療分野の機械学習では、アルゴリズム的レベルでの6時間ごとのデータバケット化という選択が、モデル性能や導入に明確な影響を及ぼすことが示され、多段階の検討の必要性が浮き彫りになった。
• このフレームワークにより、訓練データのバイアスが単にアルゴリズム的選択に起因するのではなく、臨床的データ収集の実務的制約といった計算論的レベルの制約に起因する可能性があることが明らかになった。
• レベル間の議論の違い（例：言語の目的が思考の構造化か、コミュニケーションの手段か）を明確にすることで、より構造的かつ生産的な議論が可能になる。
• 自らの研究にこのフレームワークを適用する研究者たちは、しばしば見過ごされていた仮定を発見し、より深い洞察と改善された研究設計に至ることが多い。