[논문 리뷰] NeurIPS 2020 Competition: Predicting Generalization in Deep Learning

Yiding Jiang, Pierre Foret외 8명|arXiv (Cornell University)|2020. 12. 14.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 22

한 줄 요약

이 NeurIPS 2020 경연 대회는 딥 러닝의 일반화 성능을 예측하는 복잡도 측정법을 개발하도록 연구자들을 도전한다. 참가자들은 훈련된 모델에서 스칼라 점수를 계산하는 코드를 제출하며, 평가 과정은 중앙에서 처리되어 이론적이고 실험적인 일반화 예측자에 대한 공정하고 재현 가능한 벤치마킹이 가능해지며, 광범위한 훈련 또는 인프라 요구 없이도 가능하다.

ABSTRACT

Understanding generalization in deep learning is arguably one of the most important questions in deep learning. Deep learning has been successfully adopted to a large number of problems ranging from pattern recognition to complex decision making, but many recent researchers have raised many concerns about deep learning, among which the most important is generalization. Despite numerous attempts, conventional statistical learning approaches have yet been able to provide a satisfactory explanation on why deep learning works. A recent line of works aims to address the problem by trying to predict the generalization performance through complexity measures. In this competition, we invite the community to propose complexity measures that can accurately predict generalization of models. A robust and general complexity measure would potentially lead to a better understanding of deep learning's underlying mechanism and behavior of deep models on unseen data, or shed light on better generalization bounds. All these outcomes will be important for making deep learning more robust and reliable.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 일반화를 예측하는 복잡도 측정법을 평가하기 위한 표준화되고 접근 가능한 플랫폼을 구축하기 위해.
• 참가자가 모델을 훈련하거나 컴퓨팅 자원을 관리할 필요 없이 이론적 일반화 가설을 테스트하는 데서 장벽을 낮추기 위해.
• 다양한 아키텍처와 하이퍼파라미터를 통해 복잡도 측정법 간의 직접적이고 공정한 비교를 가능하게 하기 위해.
• 빠른 피드백 루프를 통해 딥 러닝 일반화의 이론적 기초에 대한 연구를 가속화하기 위해.
• 더 강력하고 신뢰성 있고 효율적인 딥 러닝 모델 개발을 지원하여 더 나은 일반화 보장을 가능하게 하기 위해.

제안 방법

• 참가자들은 텐서플로 2.x를 사용한 훈련된 Keras 모델과 그 훈련 데이터를 입력으로 받아 단일 실수 값 점수를 출력하는 코드를 제출한다.
• 평가 프레임워크는 다양한 아키텍처와 하이퍼파라미터를 가진 완전히 훈련된 모델의 대규모 정제된 데이터셋에서 코드를 실행한다.
• 모든 모델은 훈련 수렴으로 인한 일반화 갭의 혼동을 제거하기 위해 근사적으로 완벽한 훈련 정확도에 도달하도록 훈련된다.
• 프레임워크는 각 모델에 대해 일반화 갭(테스트 정확도 - 훈련 정확도)을 계산하고 이를 평가의 기준값으로 사용한다.
• 예측 성능 평가를 위해 점수는 상관관계 지표(예: 스피어만의 rho)를 사용해 진짜 일반화 갭과 순위를 매긴다.
• 공개 랭킹리스트는 매일 업데이트되어 실시간 피드백과 복잡도 측정법의 반복적 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 아키텍처와 하이퍼파라미터에 걸쳐 딥 뉴럴 네트워크의 일반화 갭을 가장 정확하게 예측하는 복잡도 측정법은 무엇인가?
• RQ2 통합된 접근 가능 평가 프레임워크는 대규모 훈련이 필요 없이 일반화 이론을 테스트하는 데 더 넓은 커뮤니티 참여를 가능하게 할 수 있는가?
• RQ3 통제된 대규모 조건에서 평가되었을 때 기존의 이론적 복잡도 측정법(예: 날카움, 노름 기반 경계)은 실제로 얼마나 잘 작동하는가?
• RQ4 형식적 통계학적 학습 이론에 기반하지는 않지만 실용적이고 실험적으로 효과적인 복잡도 측정법을 발견할 수 있는가?
• RQ5 딥 러닝 모델의 공변량 이동과 아키텍처 변형에 대해 복잡도 측정법은 어느 정도 강건성을 유지하는가?

주요 결과

• 이 경연 프레임워크는 복잡도 측정법 개발과 모델 훈련을 분리하여 연구자들이 측정법 설계에 집중할 수 있도록 성공적으로 지원했다.
• 매일 업데이트되는 공개 랭킹리스트가 실시간 피드백을 제공하여 제안된 측정법의 반복적 개선을 가속화했다.
• 평가 인fra구조는 모든 제출물 간의 공정하고 투명한 비교를 보장하여 서로 다른 컴퓨팅 환경으로 인한 편향을 제거했다.
• 이 경연은 많은 전통적인 복잡도 측정법이 통제된 대규모 평가 조건에서 빈약하게 작동하는 것으로 드러내어 이전의 혼동 요인에 대한 우려를 확인시켰다.
• 프레임워크는 중심 집중 평가 없이 테스트하기 어려웠을 새로운 실용적이고 실험적으로 효과적인 복잡도 측정법의 발견을 가능하게 했다.
• 결과는 딥 러닝 일반화에 대한 이론적 이해를 발전시키기 위해 표준화된 벤치마크의 중요성을 강조했다.