[논문 리뷰] Levels of Analysis for Machine Learning

Jessica B. Hamrick, Shakir Mohamed|arXiv (Cornell University)|2020. 04. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 4

한 줄 요약

이 논문은 기계학습 연구에서 머리의 분석 수준—계산 수준, 알고리즘 수준, 구현 수준—을 통합적 개념적 프레임워크로 채택할 것을 주장한다. 딥 Q네트워크와 의료 기계학습 시스템 등의 사례 연구에 이 수준들을 적용함으로써, 저자들은 이 프레임워크가 가정을 명확히 하고, 논의를 해결하며, 다양한 연구 수준 간의 비판적 논의를 향상시키는 데 어떻게 기여하는지 보여준다.

ABSTRACT

Machine learning is currently involved in some of the most vigorous debates it has ever seen. Such debates often seem to go around in circles, reaching no conclusion or resolution. This is perhaps unsurprising given that researchers in machine learning come to these discussions with very different frames of reference, making it challenging for them to align perspectives and find common ground. As a remedy for this dilemma, we advocate for the adoption of a common conceptual framework which can be used to understand, analyze, and discuss research. We present one such framework which is popular in cognitive science and neuroscience and which we believe has great utility in machine learning as well: Marr's levels of analysis. Through a series of case studies, we demonstrate how the levels facilitate an understanding and dissection of several methods from machine learning. By adopting the levels of analysis in one's own work, we argue that researchers can be better equipped to engage in the debates necessary to drive forward progress in our field.

연구 동기 및 목표

• 기계학습 분야에서 반복적으로 발생하고 해결되지 않은 논의를 해결하기 위해 공통의 개념적 프레임워크를 제공하기 위해.
• 연구자들 간의 다양한 기준에 기인한 연구 논의의 불일치를 해결하기 위해.
• 머리의 분석 수준이 기계학습 방법의 체계화 및 비교에 어떻게 유용한지 보여주기 위해.
• 연구자들이 자신의 연구에 이 프레임워크를 적용하여 숨겨진 가정을 드러내고 비판적 참여를 향상시키도록 유도하기 위해.
• 특히 해석 가능성과 편향과 같은 새로운 문제들에 비추어 볼 때, 머리의 수준들을 향후 기계학습 분야의 개념적 발전을 위한 기초적인 시각으로 위치시키기 위해.

제안 방법

• 머리의 세 수준 프레임워크를 채택: 계산 수준(시스템의 목표), 알고리즘 수준(표현 방식과 알고리즘), 구현 수준(물리적 또는 소프트웨어적 실현).
• 딥 Q네트워크, 변동형 오토인코더, 의료 기계학습 응용 등 실제 기계학습 시스템에 이 프레임워크를 적용.
• 다른 알고리즘 선택(예: Q러닝 대비 SARSA)과 구현 세부 사항(예: 타겟 네트워크, 리PLAY 버퍼)을 분석하고 비교하기 위해 수준을 활용.
• 한 수준에서의 가정(예: 계산 수준의 목표)이 다른 수준(예: 알고리즘 표현)의 선택을 제약하거나 형성하는 방식을 강조.
• 수준을 통해 암묵적인 가정(예: DQN에서의 물체 이해 또는 의료 기계학습에서의 데이터 수집 시점)을 명시화함으로써 이를 드러내기.
• 기존의 개념 모델(예: 아키텍처-손실, 알고리즘-소프트웨어-하드웨어)과 머리의 프레임워크를 비교하고, 더 넓은 범위와 유용성을 주장함.

실험 결과

연구 질문

• RQ1 머리의 분석 수준은 현재 해결되지 않은 기계학습 분야의 지속적 논의를 어떻게 해결하는 데 도움이 될 수 있는가?
• RQ2 다른 분석 수준이 기계학습 시스템의 목표, 표현 방식, 실현 방식에 대한 가정을 어떻게 명확히 하는가?
• RQ3 분석 수준을 적용하면 DQN이나 VAE와 같은 기계학습 방법의 비판적 평가가 어떻게 향상될 수 있는가?
• RQ4 알고리즘 수준이나 구현 수준의 설계 선택은 시스템의 계산 수준 목표에 어떻게 반영되거나 제약을 받는가?
• RQ5 분석 수준은 실생활 응용, 예를 들어 의료 기계학습 시스템에서의 편향 또는 실패 원인을 특정하는 데 도움이 될 수 있는가?

주요 결과

• 머리의 분석 수준을 적용하면 기계학습 연구에서 암묵적인 가정을 드러내는데 도움이 된다. 예를 들어 DQN에서 스칼라 보상 최대화를 목표로 하는 계산 수준의 목표는 인간 수준의 물체 이해와 일치하지 않을 수 있다.
• 딥 강화학습에 대한 비판, 예를 들어 브레이크아웃에서 에이전트의 물체 이해 부족은 계산 수준에서 더 정확히 위치지을 수 있으며, 이는 물체 탐지까지 포함된 목표 재정의가 필요함을 시사한다.
• 의료 기계학습 분야에서 알고리즘 수준에서의 여섯 시간 단위 데이터 버킷화 선택은 모델 성능과 구현에 실질적인 영향을 미치며, 이는 수준 간 심층적 검토의 필요성을 강조한다.
• 이 프레임워크는 훈련 데이터의 편향이 알고리즘 선택 외에도 계산 수준의 제약(예: 임상 데이터 수집 관행)에서 기인할 수 있음을 드러낸다.
• 논의의 수준을 명확히 함으로써, 서로 다른 수준에서의 불일치(예: 언어의 목적은 사고를 구조화하는 것인지, 소통을 가능하게 하는 것인지)를 분리함으로써 더 체계적이고 생산적인 논의를 가능하게 한다.
• 자신의 연구에 프레임워크를 적용하는 연구자들은 종종 간과된 가정을 발견하여 더 깊은 통찰과 개선된 연구 설계로 이어진다.