[논문 리뷰] HARK Side of Deep Learning -- From Grad Student Descent to Automated Machine Learning

Oguzhan Gencoglu, Mark van Gils외 6명|arXiv (Cornell University)|2019. 04. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 18

한 줄 요약

이 논문은 딥러닝 연구에서 결과를 알고 나서 가설을 세우는(HARKing) 현상이 경쟁심화, 출판 압박, 잘못된 벤치마크 평가 방식 등으로 인해 널리 퍼져 있음을 밝히며, 사전 가설 설정, 재현 가능성, 윤리적 AI 관행으로의 문화 전환을 통해 기계학습 시스템에 대한 과학적 엄밀성과 신뢰도를 향상시키자고 주장한다.

ABSTRACT

Recent advancements in machine learning research, i.e., deep learning, introduced methods that excel conventional algorithms as well as humans in several complex tasks, ranging from detection of objects in images and speech recognition to playing difficult strategic games. However, the current methodology of machine learning research and consequently, implementations of the real-world applications of such algorithms, seems to have a recurring HARKing (Hypothesizing After the Results are Known) issue. In this work, we elaborate on the algorithmic, economic and social reasons and consequences of this phenomenon. We present examples from current common practices of conducting machine learning research (e.g. avoidance of reporting negative results) and failure of generalization ability of the proposed algorithms and datasets in actual real-life usage. Furthermore, a potential future trajectory of machine learning research and development from the perspective of accountable, unbiased, ethical and privacy-aware algorithmic decision making is discussed. We would like to emphasize that with this discussion we neither claim to provide an exhaustive argumentation nor blame any specific institution or individual on the raised issues. This is simply a discussion put forth by us, insiders of the machine learning field, reflecting on us.

연구 동기 및 목표

• 딥러닝 연구에서 HARKing의 빈도를 특정하고 분석하는 것, 특히 고위험 응용 분야에서의 경우를 중심으로 한다.
• 초기 경쟁적 연구 환경과 출판 인cent라이브가 사후 가설 설정과 부정 결과의 은폐를 어떻게 장려하는지 분석하는 것.
• 현재 모델과 데이터셋이 실제 응용 시나리오로 일반화하지 못하는 데서 기인하는 과학적 타당성의 결여를 부각하는 것.
• 윤리적, 설명 가능하고, 개인정보 보호를 고려한 원칙을 기계학습 연구 방법론의 초기 단계에 통합할 것을 주장하는 것.
• 기계학습 연구의 책임성, 투명성, 과학적 정당성을 향상시키기 위해 문화적·제도적 개혁을 추진하는 것.

제안 방법

• 딥러닝 연구에서 흔한 연구 관행을 분석하며, 긍정 결과의 선택적 보고와 부정 결과의 출판 부족을 다룬다.
• 자동화된 기계학습(AutoML)이 자동 하이퍼파라미터 검색과 모델 선택을 통해 HARKing을 악화시킬 수 있는 역할을 하는지 분석한다.
• 단일 지표 기반 벤치마크의 한계와 데이터셋 및 평가 편향으로 인한 모델 성능의 오해를 검토한다.
• 가설-연역 과학적 방법에 부합하기 위해 연구 라이프사이클에 사전 가설 설정을 통합하는 것을 제안한다.
• 재현 가능성, 설명 가능성, 개인정보 보호 기법(예: 피어드 페더레이티드 러닝, 차별적 프라이버시)이 HARKing에 대비한 보완 조치로서 중요한 역할을 한다고 논의한다.
• GDPR의 설명 권리와 실행 가능한 감사 메커니즘과 같은 정책적 수단이 AI 시스템의 책임성을 향상시키는 데 어떻게 기여할 수 있는지 평가한다.

실험 결과

연구 질문

• RQ1 HARKing는 딥러닝 연구에서 어느 정도 나타나며, 연구 문화와 인cent라이브의 근본 원인은 무엇인가?
• RQ2 출판 압박과 최첨단 성능 확보를 향한 추구가 부정 결과의 은폐와 사후 가설 설정을 어떻게 증가시키는가?
• RQ3 왜 현재의 딥러닝 모델과 데이터셋은 종종 실제 응용에 일반화하지 못하는가? 이는 HARKing과 어떤 관련이 있는가?
• RQ4 자동화된 기계학습 (AutoML)은 HARKing 행동을 어떻게 완화하고 악화시킬 수 있는가?
• RQ5 윤리적, 설명 가능하고 개인정보 보호를 고려한 AI 원칙은 연구 과정에 어떻게 통합되어 HARKing을 줄이고 과학적 정당성을 향상시킬 수 있는가?

주요 결과

• HARKing는 벤치마크에서 최첨단 성능을 달성하려는 압박, 출판 편향, 극심한 경쟁으로 인해 딥러닝 연구에서 널리 퍼져 있다.
• 부정 결과의 은폐와 성능 향상의 선택적 보고는 재현 가능성에 악영향을 미치고 과학적 기록을 왜곡한다.
• 현재의 데이터셋과 모델 평가 방식은 종종 실제 세계 시나리오로 일반화하지 못하며, 이는 벤치마크 성능과 실용적 유용성 사이의 격차를 보여준다.
• 자동화된 기계학습 (AutoML)은 수동 튜닝을 줄일 수 있지만, 사전 가설 검증과 투명한 평가가 함께 이루어지지 않으면 HARKing을 장려할 수 있다.
• 설명 가능성과 책임성 메커니즘(예: GDPR의 설명 권리, 실행 가능한 감사)은 HARKing을 탐지하고 완화하는 데 도움이 되지만, 철저한 구현이 필요하다.
• 연구 방법론에 피어드 페더레이티드 러닝과 차별적 프라이버시와 같은 개인정보 보호 기법을 통합하면 과학적 정당성을 강화하고 데이터 오용 위험을 줄일 수 있다.