[논문 리뷰] Perspectives on the State and Future of Deep Learning - 2023

Micah Goldblum, Anima Anandkumar외 8명|arXiv (Cornell University)|2023. 12. 07.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 2023년 종합 조사에서는 딥러닝의 현재 상태와 미래에 대한 전문가들의 견해를 종합하며, 분포 이탈, 기계적 해석 가능성, 강건한 추론과 같은 부족하게 평가받는 과제들을 강조한다. 학계에서의 근본적 연구를 지지하고, 벤치마크 평가의 한계를 비판하며, 자연과학 분야에서의 AI의 변혁적 잠재력은 높게 평가하면서도, 좁은 평가 지표와 자료 집약적인 모델에 대한 과도한 의존을 경계한다.

ABSTRACT

The goal of this series is to chronicle opinions and issues in the field of machine learning as they stand today and as they change over time. The plan is to host this survey periodically until the AI singularity paperclip-frenzy-driven doomsday, keeping an updated list of topical questions and interviewing new community members for each edition. In this issue, we probed people's opinions on interpretable AI, the value of benchmarking in modern NLP, the state of progress towards understanding deep learning, and the future of academia.

연구 동기 및 목표

• 전문가 인터뷰와 커뮤니티 기여를 통해 딥러닝 분야의 현재 및 신규 과제를 기록하고 분석하는 것.
• 분포 이탈에 대한 강건성과 기계적 해석 가능성과 같은 우선시되지 않은 고영향력 과제를 식별하는 것.
• 점점 커지는 산업계의 지배 속에서 학계가 근본적 머신러닝 연구를 어떻게 선도할 수 있는지 평가하는 것.
• NLP 및 비전 분야의 현재 평가 체계를 비판하고, 더 통찰력 있고 인간과 이질지능을 고려한 벤치마크를 주장하는 것.
• 자연과학 분야에서의 AI 미래, 특히 신소재 개발과 약물 설계를 포함한 고영향력의 전초 분야를 탐색하는 것.

제안 방법

• 주요 머신러닝 연구자들과 전문가들을 대상으로 체계적인 설문 조사를 실시하여 핵심 과제와 미래 방향성에 대한 정성적 통찰을 수집한다.
• 실제 응용 사례(예: PDE 대체 모델, 분자 동역학, 항체 설계 등)와 전문가 의견을 활용하여 영향력 있는 AI 응용 사례를 설명한다.
• 분포 이탈 연구에서 테스트 분포 유출의 위험을 강조하여 전통적 벤치마크 평가의 문제를 비판한다.
• 정의된 분포 이탈 유형 기반의 원칙적인 알고리즘 설계로의 전환을 제안한다.
• AI와 인지과학 간의 협업을 통해 AI 능력 평가 프로토콜을 개선할 것을 주장한다.
• 활성 학습, 학습된 평가, 불확실성 표현과 같은 개발이 부족하지만 핵심적인 분야의 중요성을 강조한다.

실험 결과

연구 질문

• RQ1 오늘날 딥러닝 분야에서 가장 중요하지만 부족하게 다뤄지는 문제들은 무엇인가?
• RQ2 정적 벤치마크와 총합 정확도를 넘어서 AI 시스템 평가를 어떻게 향상시킬 수 있는가?
• RQ3 왜 분포 이탈 연구는 현재 잘못되어 있으며, 어떻게 분포 유출을 피할 수 있도록 재구성할 수 있는가?
• RQ4 산업계의 지배가 지속되는 상황에서 학계는 근본적 머신러닝 연구를 어떻게 선도해야 하는가?
• RQ5 AI는 자연과학 분야의 발견을 가속화하기 위해 어떻게 가장 효과적으로 활용될 수 있는가?

주요 결과

• Max Welling은 기후 모델링, 배터리 설계, 약물 발견과 같은 자연과학 분야의 AI 응용을 가장 영향력 있고 아직 탐색되지 않은 전초 분야로 지목한다.
• Kyunghyun Cho는 현재 머신러닝 연구가 데이터가 풍부한 단순하고 평가가 쉬운 문제에 과도하게 집중하고 있으며, 활성 학습과 강건한 분류와 같은 더 복잡하고 비용이 많이 들지만 더 높은 영향력을 가진 문제들은 생략되고 있다고 주장한다.
• Zachary Lipton은 AI가 이제 산업 전반에 깊이 통합되어 있으며, 기업 리더들이 학계보다 더 많은 정보를 보유하고 있다는 점에서 학계의 影響력이 점점 줄어들고 있음을 관찰한다.
• Melanie Mitchell는 추상적 추론으로의 일반화 부족, 복합적 시각-언어 이해 부족, 평가 방법의 부족함을 AI 분야의 핵심 해결되지 않은 과제로 지적한다.
• 이 논문은 모델이 내부적으로 정보를 처리하는 방식을 이해하는 기계적 해석 가능성—딥러닝 분야에서 여전히 근본적이고 해결되지 않은 과제임을 강조한다.
• 산업계의 기술 발전에도 불구하고, 학계는 통계적 기초, 인과관계, 강건성과 같은 장기적이고 개방적인 연구 분야에서 독특한 역할을 유지하고 있으며, 이는 단기적 상업적 목표와는 맞지 않는다.