[논문 리뷰] Designing and Interpreting Probes with Control Tasks

John Hewitt, Percy Liang|arXiv (Cornell University)|2019. 09. 08.

Topic Modeling참고 문헌 32인용 수 12

한 줄 요약

이 논문은 단어 유형에서 출력으로의 무작위 매핑을 통해 프로브 선택도를 평가하기 위한 제어 작업을 도입한다. 이는 높은 언어적 프로빙 정확도가 언어적 구조의 진정한 표현을 반영하는지, 아니면 단지 프로브의 기억화에 기인하는지를 측정하기 위함이다. 연구 결과, ELMo에 적용된 인기 있는 MLP 프로브는 선택도가 낮은 반면, 더 단순한 선형 프로브는 높은 선택도를 보이며, 이는 프로브의 복잡도가 표현 품질 외에도 프로빙 결과에 영향을 준다는 것을 시사한다.

ABSTRACT

Probes, supervised models trained to predict properties (like parts-of-speech) from representations (like ELMo), have achieved high accuracy on a range of linguistic tasks. But does this mean that the representations encode linguistic structure or just that the probe has learned the linguistic task? In this paper, we propose control tasks, which associate word types with random outputs, to complement linguistic tasks. By construction, these tasks can only be learned by the probe itself. So a good probe, (one that reflects the representation), should be selective, achieving high linguistic task accuracy and low control task accuracy. The selectivity of a probe puts linguistic task accuracy in context with the probe's capacity to memorize from word types. We construct control tasks for English part-of-speech tagging and dependency edge prediction, and show that popular probes on ELMo representations are not selective. We also find that dropout, commonly used to control probe complexity, is ineffective for improving selectivity of MLPs, but that other forms of regularization are effective. Finally, we find that while probes on the first layer of ELMo yield slightly better part-of-speech tagging accuracy than the second, probes on the second layer are substantially more selective, which raises the question of which layer better represents parts-of-speech.

연구 동기 및 목표

• 프로빙 결과의 모호성 해결: 높은 정확도가 표현 내 언어적 구조를 반영하는지, 아니면 프로브의 기억화에 기인하는지를 파악하기 위함.
• 맥락과 무관하게 단어 유형에 무작위 출력 레이블을 할당함으로써 프로브 능력을 분리하는 제어 작업을 제안하기 위함.
• 언어적 작업 정확도와 제어 작업 정확도를 통합한 선택도를 진단 지표로 도입하기 위함.
• 프로브 아키텍처, 하이퍼파라미터, 정규화 방법이 프로빙 결과의 선택도와 해석 가능성에 미치는 영향 평가하기 위함.
• 무작위 기준을 초월한 프로빙 결과 해석 프레임워크 제공을 통해 표현 분석에 대한 신뢰도 향상하기 위함.

제안 방법

• 맥락과 무관하게 각 단어 유형을 무작위 출력 레이블로 매핑하는 제어 작업 정의하여 비언어적 기억화를 시뮬레이션하기 위함.
• 언어적 작업(예: 품사 태깅)과 동일한 입력/출력 공간을 가진 제어 작업을 사용하여 ELMo 표현에 대해 프로브 훈련하기 위함.
• 선택도를 언어적 작업 정확도와 제어 작업 정확도의 차이로 측정하며, 높은 선택도는 표현 구조와의 더 나은 일치를 나타냄.
• 표현력과 기억화 능력을 비교하기 위해 선형, 이차형, 다층퍼셉트론(MLP) 프로브를 다양한 하이퍼파라미터 설정으로 사용하기 위함.
• 드롭아웃, 가중치 감소, 감소된 은닉 차원 수와 같은 정규화 기법을 적용하여 선택도에 미치는 영향 평가하기 위함.
• ELMo 레이어 간 및 무작위 표현 기준과의 비교를 통해 상대적 선택도와 해석 가능성 평가하기 위함.

실험 결과

연구 질문

• RQ1 높은 프로빙 정확도가 표현 내 언어적 구조를 반영하는 정도는 어느 정도이며, 프로브의 기억화 능력에 기인하는가?
• RQ2 프로브 아키텍처(예: 선형 vs. MLP)가 프로빙 작업의 선택도에 어떤 영향을 미치는가?
• RQ3 드롭아웃은 MLP 프로브에서 기억화를 효과적으로 줄이는가, 아니면 선택도 향상에 부적합한가?
• RQ4 다양한 정규화 방법은 ELMo 표현의 MLP 프로브 선택도에 어떤 영향을 미치는가?
• RQ5 선택도는 ELMo 레이어 1과 레이어 2 간의 상대적 언어적 표현력에 대해 어떤 통찰을 제공하는가?

주요 결과

• 품사 태깅 작업에서 ELMo에 대한 MLP 프로브는 언어적 정확도 97.3%를 기록했지만 제어 작업 정확도는 92.8%에 그쳐 선택도가 단지 4.5에 그쳐 강력한 기억화 능력을 보임.
• 선형 프로브는 언어적 정확도 97.2%와 제어 작업 정확도 71.2%를 기록해 선택도 26.0을 확보함으로써, MLP의 정확도 향상이 언어적 인코딩보다는 표현력 증가에 기인할 가능성이 있음.
• 드롭아웃은 MLP 프로브에서 선택도를 일관되게 향상시키지 못해 이 맥락에서 기억화 제어에 효과적이지 않음.
• 더 작은 은닉 차원 수(예: 10단위), 감소된 훈련 데이터, 가중치 감소는 MLP에서 선택도 향상에 더 효과적인 정규화 전략임.
• 비록 유사한 언어적 정확도를 기록했지만 ELMo 레이어 2는 레이어 1보다 훨씬 높은 선택도를 보이며, 이는 어느 레이어가 품사 정보를 더 잘 인코딩하는지에 대한 의문을 제기함.
• ELMo2는 랜덤 표현 기준과 유사한 품사 태깅 정확도를 기록했지만 훨씬 높은 선택도를 보이며, 이는 기준보다 더 많은 언어적 구조를 인코딩하고 있음을 시사함.