[논문 리뷰] Application-Driven Innovation in Machine Learning

David Rolnick, Alán Aspuru‐Guzik외 9명|arXiv (Cornell University)|2024. 03. 26.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 기초 연구 중심의 접근 방식에 비해 실제 응용 중심의 혁신(ADML)이 기계학습 분야에서 필수적인 보완 요소임을 주장한다. 실제 문제 도전 과제가 더 넓은 영향을 미치는 새로운 알고리즘을 창출할 수 있음을 강조하며, 전통적인 벤치마크 중심의 연구와 대비시켜 심각한 시스템적 편향이 리뷰, 채용, 교육 분야에 존재하여 응용 중심 연구가 간과당하고 있음을 지적하고, ADML을 ML 연구 생태계 내에서 동등하게 통합하고 가치 있게 만들기 위한 개혁을 제안한다.

ABSTRACT

In this position paper, we argue that application-driven research has been systemically under-valued in the machine learning community. As applications of machine learning proliferate, innovative algorithms inspired by specific real-world challenges have become increasingly important. Such work offers the potential for significant impact not merely in domains of application but also in machine learning itself. In this paper, we describe the paradigm of application-driven research in machine learning, contrasting it with the more standard paradigm of methods-driven research. We illustrate the benefits of application-driven machine learning and how this approach can productively synergize with methods-driven work. Despite these benefits, we find that reviewing, hiring, and teaching practices in machine learning often hold back application-driven innovation. We outline how these processes may be improved.

연구 동기 및 목표

• 기초 연구 중심의 연구와 대비되는 응용 중심 기계학습(ADML)을 명확히 정의하고, 이를 별개이지만 상호보완적인 범주로 정착시키는 것.
• 기초 연구 중심의 연구에 비해 응용 중심 기계학습 연구의 가치가 낮게 평가되는 이유를 밝혀내기 위해 리뷰, 채용, 학술 교육 분야의 체계적 편향을 규명하는 것.
• 연구 평가, 채용, 교육 분야의 개혁을 제안하여 ADML 연구자들이 더 잘 지원받고 발휘할 수 있도록 하는 것.
• 실제 문제의 제약 조건과 도메인 특화 요구 사항이 더 견고하고 일반화 가능하며 영향력 있는 기계학습 방법론을 창출할 수 있음을 강조하는 것.
• 학계 외부 및 기술 산업 외부의 다양한 역할을 위해 연구자들이 준비할 수 있도록 다학제적 교육과 협업을 장려하는 것.

제안 방법

• 벤치마크, 평가 지표, 데이터 규모, 알고리즘 일반성의 네 가지 핵심 차원을 통해 ADML과 기초 연구 중심의 연구를 대비 분석하는 것.
• 원격 감지 분야에서 랜덤 포레스트와 같은 단순 모델이 복잡한 딥러닝 모델을 능가하는 사례 연구 분석을 통해 실제 응용에서의 성능을 입증하는 것.
• 표준화된 벤치마크에서 벗어나 적용 중심의 맥락 인식 평가 지표와 검증 방식으로 연구 평가 방식을 전환할 것을 제안하는 것.
• 이론적 혁신 외에도 도메인 전문 지식과 실제 구현 경험을 고려한 학술 채용 기준 개선을 권고하는 것.
• 문제 정의부터 구현까지의 전 프로젝트 라이프사이클을 경험할 수 있도록 도메인 특화 기계학습 교과 과정을 통합하고 교육 과정을 개선할 것을 제안하는 것.
• 의료, 기후 과학, 산업 분야 등 다양한 분야의 도메인 전문가와 기계학습 연구자 간 격차를 메우기 위해 다학제적 협업과 훈련을 장려하는 것.

실험 결과

연구 질문

• RQ1 응용 중심 혁신은 기초 연구 중심의 연구와 어떻게 다를까? 핵심 차별점은 무엇인가?
• RQ2 실제 영향력 있는 성과를 내고 있음에도 불구하고, 왜 응용 중심 기계학습 연구는 리뷰, 채용, 학술 교육 과정에서 자주 가치가 낮게 평가되는가?
• RQ3 응용 중심 연구를 공정하게 평가하고 지원하며 전체 ML 연구 생태계에 통합하기 위해 어떤 체계적 변화가 필요한가?
• RQ4 교육 제도는 어떻게 개선되어야 기계학습 학생들이 학계나 기술 산업 외부의 공적 부문 및 도메인 특화 응용 분야에서의 역할을 더 잘 준비할 수 있는가?
• RQ5 응용 중심 연구는 전체 기계학습 분야에 유익한 방법론적 진전을 이끌어내는 데 어떤 방식으로 기여할 수 있는가?

주요 결과

• 실제 응용 환경에서는 기초 연구 중심 접근 방식보다 응용 중심 연구가 더 효과적인 해결책을 도출하는 경우가 많다. 예를 들어 원격 감지 분야에서 랜덤 포레스트는 비전 트랜스포머보다 뛰어난 성능을 보였다.
• ImageNet과 MS COCO와 같은 표준화된 벤치마크는 과도하게 사용되며, 실제 활용도와는 맞지 않는 성능 지표에 집중하는 데 기여하여 연구의 초점을 좁게 만든다.
• 현재의 평가 관행은 테스트 손실과 정확도에만 초점을 맞추며, 적용 중심 지표는 간과함으로써 연구 결과와 사회적 영향력 사이에 괴리가 발생한다.
• 기계학습 분야의 리뷰, 채용, 교육 관행은 종종 응용 중심 연구를 낮게 평가하여 연구자들이 영향력 있는 도메인 특화 문제를 연구하는 데서 소외당하게 한다.
• '좋은 데를 위한 AI'(AI for Good)와 같은 ADML 하위 커뮤니티는 성별 및 민족적 다양성이 더 높은 편이므로, 응용 중심 연구는 기계학습 분야의 참여도를 넓힐 수 있음을 시사한다.
• 도메인 특화 기계학습 교육과 전 프로젝트 라이프사이클 경험을 포함한 교육 제도 개선은 학생들이 공적 및 산업 부문에서 영향력 있는 역할을 수행할 수 있도록 더 잘 준비시킬 수 있다.