[논문 리뷰] Show Your Work: Improved Reporting of Experimental Results

Jesse Dodge, Suchin Gururangan외 3명|arXiv (Cornell University)|2019. 09. 06.

Topic Modeling참고 문헌 38인용 수 19

한 줄 요약

이 논문은 자연어 처리(NLP) 모델 비교의 재현 가능성과 공정성을 향상시키기 위해 계산 예산에 따른 기대 검증 성능을 보고하도록 제안한다. 하이퍼파ram터 탐색 시도 중 기대 최고 성능를 추정함으로써, 모델의 우월성이 예산에 따라 달라짐을 드러내며, 예를 들어 어떤 모델은 특정 계산 임계값을 초과할 때만 다른 모델보다 뛰어나게 된다. 이는 최종 테스트셋 점수에만 의존하는 것보다 더 견고한 대안을 제공한다.

ABSTRACT

Research in natural language processing proceeds, in part, by demonstrating that new models achieve superior performance (e.g., accuracy) on held-out test data, compared to previous results. In this paper, we demonstrate that test-set performance scores alone are insufficient for drawing accurate conclusions about which model performs best. We argue for reporting additional details, especially performance on validation data obtained during model development. We present a novel technique for doing so: expected validation performance of the best-found model as a function of computation budget (i.e., the number of hyperparameter search trials or the overall training time). Using our approach, we find multiple recent model comparisons where authors would have reached a different conclusion if they had used more (or less) computation. Our approach also allows us to estimate the amount of computation required to obtain a given accuracy; applying it to several recently published results yields massive variation across papers, from hours to weeks. We conclude with a set of best practices for reporting experimental results which allow for robust future comparisons, and provide code to allow researchers to use our technique.

연구 동기 및 목표

• 단일 테스트셋 점수에 의존함으로써 발생하는 NLP 모델 비교의 재현 가능성과 공정성 부족 문제를 해결한다.
• 모델 성능 순위가 계산 예산에 따라 달라질 수 있음을 강조하여 신뢰할 수 있는 결론 도출을 위협함을 밝힌다.
• 계산 예산(예: 하이퍼파ram터 탐색 시도 수 등)에 따라 기대 검증 성능를 추정하는 방법을 제안한다.
• 연구자들이 모델의 튜닝 노력과 랜덤성에 대한 진정한 민감도를 반영할 수 있도록 프레임워크를 제공한다.
• 검증 성능 곡선과 예산 추정치를 보고함으로써 투명성을 증진하고 향후 비교 가능성 향상을 유도한다.

제안 방법

• 개발 단계에서 수집한 경험적 검증 점수를 바탕으로, n개의 하이퍼파ram터 탐색 시도 후에 발견된 최고 성능 모델의 기대 성능를 추정한다.
• 신뢰구간을 포함하여 증가하는 계산 예산(n)에 따라 기대 최고 성능를 곡선으로 모델링한다.
• 추가 계산이 필요 없도록, n ≥ 1회의 시도에서 얻은 경험적 검증 점수 분포를 사용해 기대값을 계산한다.
• 이 방법이 부트스트랩 기반 대안보다 기대 최고 성능의 오차를 더 낮게 계산함을 입증한다.
• 기존에 발표된 결과를 재분석하여 실제 사용된 계산 예산을 추정하고, 보고된 값과 실제 노력 간의 괴리를 드러낸다.
• 표준 보고 워크플로우에 통합할 수 있도록 오픈소스 코드(allentune)를 제공한다.

실험 결과

연구 질문

• RQ1 최종 테스트 정확도 외에 계산 예산을 고려할 경우, 모델 성능 순위는 어떻게 변화하는가?
• RQ2 현재의 보고 관행은 실제 결과를 달성하기 위해 필요한 계산 노력의 진정한 규모를 어느 정도 가리고 있는가?
• RQ3 기대 검증 성능 곡선은 단일 점수 테스트셋 점수보다 더 신뢰할 수 있는 모델 비교 근거가 될 수 있는가?
• RQ4 공개된 NLP 논문들 간에 실제 사용된 계산 예산에 얼마나 큰 변동성이 존재하는가?
• RQ5 하이퍼파ram터 탐색 예산을 부족하거나 잘못 보고하는 것이 재현 가능성과 과학적 공정성에 어떤 영향을 미치는가?

주요 결과

• 모델의 우월성은 계산 예산에 매우 의존한다: 예를 들어, 5-way SST 작업에서 하이퍼파ram터 탐색 시도가 10번 이하일 경우 로지스틱 회귀 모델이 컨볼루션 신경망(CNN)보다 뛰어나지만, 16번 이상 시도할 경우 CNN이 승리한다.
• 저자들은 한 공개 결과가 약 18 GPU일의 계산을 요구했다고 추정했으며, 이는 보고된 값보다 훨씬 높아 투명성의 심각한 격차를 드러낸다.
• 2018년 EMNLP 논문 50편을 무작위로 선정한 설문 조사에서, 어떤 논문도 권장된 실험 세부사항을 모두 보고하지 않았으며, 이는 보고 부족이 광범위하게 퍼져 있음을 보여준다.
• 제안된 방법은 부트스트랩 기반 추정보다 기대 최고 성능의 오차를 더 낮게 계산하여 더 정확하고 효율적인 대안을 제공한다.
• 검증 성능 곡선은 특정 정확도에 도달하기 위한 예산을 추정하는 데 도움이 되며, 예를 들어 CNN의 0.395 정확도에 도달하기 위한 예산은 약 16회의 시도로 추정된다.
• 단지 테스트 점수만 보고하는 랜딩보드는 진정한 튜닝 노력을 가리고 있으며, 투명성과 비교 가능성 향상을 위해 검증 성능를 포함할 것을 저자들이 권장한다.