[논문 리뷰] Quantifying Reproducibility in NLP and ML

Anja Belz|arXiv (Cornell University)|2021. 09. 02.

Topic Modeling참고 문헌 20인용 수 7

한 줄 요약

이 논문은 메트롤로지의 국제 메트롤로지 어휘사전(VIM) 정의를 응용하여 자연어처리(NLP) 및 기계학습(ML) 분야에서 복제 가능성의 표준화되고 정량화된 프레임워크를 제안한다. '재현성', '재복제성', 및 '변동계수(CV*)'와 같은 용어를 적용함으로써 연구 간 결과 일관성에 대한 측정 가능하고 비교 가능한 평가가 가능해지며, wF1 점수에서 3.8%의 CV*는 중간 수준의 변동성을 나타내며, 일반 과학 용어가 ML/NLP에 적용되지 않는다는 가정을 도전한다.

ABSTRACT

Reproducibility has become an intensely debated topic in NLP and ML over recent years, but no commonly accepted way of assessing reproducibility, let alone quantifying it, has so far emerged. The assumption has been that wider scientific reproducibility terminology and definitions are not applicable to NLP/ML, with the result that many different terms and definitions have been proposed, some diametrically opposed. In this paper, we test this assumption, by taking the standard terminology and definitions from metrology and applying them directly to NLP/ML. We find that we are able to straightforwardly derive a practical framework for assessing reproducibility which has the desirable property of yielding a quantified degree of reproducibility that is comparable across different reproduction studies.

연구 동기 및 목표

• NLP 및 ML 분야에서 복제 가능성 용어와 정의에 대한 공감대 부족 문제를 해결하기 위해.
• 일반 과학적 복제 가능성 정의가 NLP/ML에 적용되지 않는다는 가정을 도전하기 위해.
• 다른 연구 간 비교가 가능한 실용적이고 정량화된 복제 가능성 평가 프레임워크를 개발하기 위해.
• 측정 기반 및 인간 평가 기반 결과에 대한 기대되는 변동의 기준을 설정하기 위해.
• 이중적 '재현성 있음/없음' 평가가 아닌 결과의 유사도를 정량화하여 평가 관행에 대한 신뢰를 향상시키기 위해.

제안 방법

• NLP/ML 맥락에 맞게 '재현성', '재복제성', 및 '측정량(measurand)'의 국제 메트롤로지 어휘사전(VIM) 정의를 수용하기 위해.
• 변동계수(CV*)를 표준화된 지표로 활용하여 반복 측정에서의 변동을 정량화하며, CV* = (표준편차 / 평균) × 100 으로 정의한다.
• 물리적 측정(예: 토르크 무게)과 NLP 결과(예: 가중 F1 점수)에 모두 프레임워크를 적용하여 적용 가능성을 검증한다.
• 측정 조건(예: 데이터, 코드, 하드웨어, 소프트웨어)을 정의하여 복제 가능성 평가의 표준화를 도모하고 재현성 테스트를 가능하게 한다.
• 인간 평가를 포함하기 위해 인간 평가자들을 측정 시스템으로 간주하고 그 내재된 변동성을 고려한다.
• CV*가 작은 표본 크기(예: 인간 평가에서 n=2)일 경우에도 신뢰할 수 있고 비교 가능한 변동성 측정 지표로 기능함을 입증한다.

실험 결과

연구 질문

• RQ1 메트롤로지에서 유래한 표준 과학 용어와 정의가 NLP 및 ML 복제 가능성에 의미 있게 적용될 수 있는가?
• RQ2 다른 NLP/ML 연구 간 직접 비교가 가능한 방식으로 복제 가능성을 어떻게 정량화할 수 있는가?
• RQ3 측정 기반 및 인간 평가 기반 결과에서 일반적으로 나타나는 변동 수준(CV* 기준)은 어느 정도인가?
• RQ4 데이터, 코드, 팀 차이 등의 조건이 복제 가능성 평가에 어떻게 영향을 미치는가?
• RQ5 VIM 정의를 기반으로 한 프레임워크가 ML 및 NLP 분야의 복제 가능성 평가의 신뢰성과 일관성을 향상시킬 수 있는가?

주요 결과

• 복제 연구에서 가중 F1 점수의 변동계수(CV*)는 3.8%로 나타나, 코드와 데이터를 완전히 공유했음에도 불구하고 중간 수준의 변동성을 보였다.
• 최근 설문 조사에서 원본 및 복제 점수 쌍 중 정확히 동일한 경우는 단 14%에 불과하여 잔여 변동성이 여전히 존재함을 시사한다.
• CV* 지표는 인간 평가(예: n=2)와 같이 작은 표본 크기일 경우에도 안정적이고 비교 가능한 변동성 측정 지표로 기능한다.
• 정의된 조건 하에서의 재현성 테스트는 기초 변동을 추정하는 데 도움이 되며, 이는 의미 있는 복제 가능성 평가에 필수적이다.
• 이 프레임워크는 연구 간 복제 가능성에 대한 정량적이고 비교 가능한 평가를 가능하게 하여, 이중적 '재현성 있음/없음' 판단을 넘어서는 데 기여한다.
• 본 연구는 일반 과학적 용어인 메트롤로지 용어가 NLP 및 ML에 적용 가능하며 유용함을 입증하며, 오랫동안 지속된 '다른 정의가 필요하다'는 가정을 도전한다.