[논문 리뷰] BERT Rediscovers the Classical NLP Pipeline

Ian Tenney, Dipanjan Das외 1명|arXiv (Cornell University)|2019. 05. 15.

Topic Modeling참고 문헌 14인용 수 50

한 줄 요약

이 논문은 edge probing 작업을 사용해 BERT를 조사하여 언어 정보가 구문에서 의미로의 파이프라인처럼 계층적으로 구성되어 있으며, 개별 문장이 더 높은 수준의 단서에 기반해 하위 수준 결정을 수정할 수 있음을 보여준다.

ABSTRACT

Pre-trained text encoders have rapidly advanced the state of the art on many NLP tasks. We focus on one such model, BERT, and aim to quantify where linguistic information is captured within the network. We find that the model represents the steps of the traditional NLP pipeline in an interpretable and localizable way, and that the regions responsible for each step appear in the expected sequence: POS tagging, parsing, NER, semantic roles, then coreference. Qualitative analysis reveals that the model can and often does adjust this pipeline dynamically, revising lower-level decisions on the basis of disambiguating information from higher-level representations.

연구 동기 및 목표

• 전통적인 NLP 파이프라인에서 파생된 probing 작업을 사용하여 BERT의 서로 다른 언어 추상화가 어디에 인코딩되어 있는지 정량화한다.
• 구문에서 의미까지의 예상 계층적 순서를 따르는지 결정한다.
• BERT가 고정된 계층 시퀀스로 문장을 처리하는지 아니면 더 높은 수준의 정보를 사용해 결정을 동적으로 수정하는지 평가한다.

제안 방법

• 고정된 BERT 계층에서 probing 분류기를 통해 다수의 작업에서 언어 정보를 추출하기 위해 edge probing을 사용한다.
• 8개 작업(POS, Constituents, Dependencies, Entities, SRL, Coreference, SPR, SemEval relations)을 적용하고 마이크로 평균 F1을 평가 척도로 사용한다.
• 레이어 정보를 스칼라 혼합으로 풀링하여 작업별 표현을 얻는다.
• 층별 이득을 관찰하기 위해 점진적으로 더 큰 부분집합의 계층에서 프로브를 학습시켜 누적 점수를 계산한다.
• 혼합 가중치 무게 중심과 누적 점수 기반의 기대 계층을 보완적 메트릭으로 정의한다.

실험 결과

연구 질문

• RQ1 BERT가 전통적인 NLP 파이프라인(POS, 구문, 의미, 코어퍼런스)에 일치하는 순서로 언어 정보를 인코딩하는가?
• RQ2 구문 정보와 의미 정보에 대한 표현이 계층 across에서 얼마나 국소화되어 있는가?
• RQ3 상위 수준의 표현이 하위 수준의 결정을 문장 단위로 영향을 주거나 수정하는가?
• RQ4 edge-probing 결과가 BERT-base와 BERT-large 인코더 간에 어떻게 다른가?
• RQ5 개별 문장이 더 높은 수준의 정보에 의해 비연속적인 처리 결정을 보일 수 있는가?

주요 결과

• 계층 전반에 걸쳐 기본 구문 정보가 더 복잡한 의미 정보보다 앞서는 일관된 진행이 관찰된다.
• 구문 정보는 일반적으로 몇 개의 계층으로 국소화되는 반면 의미 정보는 여러 계층에 걸쳐 퍼져 있다.
• 차등 점수는 대부분의 예제가 이른 계층에서 해결됨을 보여주고, 누적 점수는 의미 작업에서 더 높은 계층의 지속적 이득을 드러낸다.
• 예제별 분석은 개별 문장이 Predicate-Argument 구조와 같은 더 높은 수준 정보에 따라 초기 결정을 수정할 수 있음을 보여준다.
• 관찰된 순서는 BERT-large와 BERT-base 모두에서 작업 관련 계층의 상대 위치가 유사하게 유지된다.