[논문 리뷰] Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data

Jacob Harer, Christopher Reale외 1명|arXiv (Cornell University)|2019. 08. 01.

Natural Language Processing Techniques참고 문헌 42인용 수 45

한 줄 요약

Tree-Transformer를 도입한 Tree-Transformer는 코드와 자연어 교정에 트리 구조 데이터를 다루는 Transformer 변형으로, 코드에서 순차 모델보다 강력한 이득을 거두고 GEC 벤치마크에서 경쟁력 있거나 선도적인 결과를 달성합니다.

ABSTRACT

Many common sequential data sources, such as source code and natural language, have a natural tree-structured representation. These trees can be generated by fitting a sequence to a grammar, yielding a hierarchical ordering of the tokens in the sequence. This structure encodes a high degree of syntactic information, making it ideal for problems such as grammar correction. However, little work has been done to develop neural networks that can operate on and exploit tree-structured data. In this paper we present the Tree-Transformer extemdash{} a novel neural network architecture designed to translate between arbitrary input and output trees. We applied this architecture to correction tasks in both the source code and natural language domains. On source code, our model achieved an improvement of $25\%$ $ ext{F}0.5$ over the best sequential method. On natural language, we achieved comparable results to the most complex state of the art systems, obtaining a $10\%$ improvement in recall on the CoNLL 2014 benchmark and the highest to date $ ext{F}0.5$ score on the AESW benchmark of $50.43$.

연구 동기 및 목표

• 문법이 풍부한 구문 정보를 제공하는 트리 구조 데이터(코드 및 자연어)에서의 교정 작업의 동기를 제시한다.
• 부모 노드 및 왼쪽 형제 맥락을 포착하기 위해 Tree Convolution Block를 통해 트리를 직접 처리하는 Transformer 기반 아키텍처를 개발한다.
• 깊이 우선 순서로 트리 구조 생성을 모델링하고 위치 인코딩 없이 트리-트리 교정을 가능하게 한다.
• 코드 교정에서 시퀀스 기반 모델에 비해 향상된 성능과 문법 오류 교정(GEC)에서 경쟁력 있는 성능을 입증한다.
• 상대적으로 작은 교정 데이터셋에 맞춘 교육 전략 및 정규화를 탐구한다.

제안 방법

• Transformer의 피드포워드 서브레이어를 학습 가능한 선형 변환과 비선형성을 통해 노드, 부모, 왼쪽 형제 표현을 결합하는 Tree Convolution Block (TCB)로 교체한다.
• TCB가 포함된 탑다운 인코더/디코더를 도입한다; 형제를 시퀀스로 간주하고 end-of-sequence 토큰을 사용하여 트리 구조 생성을 가능하게 한다.
• 디코딩 중에 부모 및 왼쪽 형제 입력이 사용 가능하도록 깊이 우선 순서(ordering)를 사용하고, 적절히 마스킹된 자기 주의(attention)를 적용한다.
• TCBs가 구조적 국소성을 제공하고 작은 데이터셋에서 과적합을 피하기 위해 위치 인코딩을 생략한다.
• Adam 옵티마이저, 드롭아웃, 레이블 스무딩, 빔 서치를 사용하여 학습한다; 입력에 조건을 부여하기 위한 인코더-디코더 어텐션과 이전에 생성된 노드에 조건을 부여하는 자체 어텐션 메커니즘을 활용한다.
• 대형 단일언어 데이터에 대한 프리트레이닝과 문법 오류 교정(GEC)을 위한 denoising-autoencoder 목표로 학습을 확장한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처가 교정 작업을 위해 트리 구조 데이터에서 직접 작동하도록 효과적으로 적응할 수 있는가?
• RQ2 부모-형제 트리 컨볼루션 블록을 도입하면 코드 및 언어 도메인에서 시퀀스 기반 방법에 비해 문법 교정 출력이 향상되는가?
• RQ3 작은 데이터셋에서 트리-투-트리 교정을 가장 잘 지원하는 학습 전략(프리트레이닝, 디노이징, 빔 서치, 정규화)은 무엇인가?
• RQ4 최신 시퀀스 모델과 비교했을 때 코드 교정과 문법 오류 교정 벤치마크에서 Tree-Transformer의 성능은 어떤가?
• RQ5 깊이 우선 노드 순서와 위치 인코딩 부재가 모델 성능 및 과적합에 어떤 영향을 미치는가?

주요 결과

• SATE IV 데이터로 코드 교정에서 Tree-Transformer은 84.7 F0.5를 달성하여 4-layer LSTM (51.7) 및 표준 Transformer (63.5)를 능가한다.
• GEC (CoNLL 2014)에서 Tree-Transformer는 이전 방법들보다 재현율은 높지만 정밀도는 낮아 monolingual 확장 없이 47.50 F0.5를, 확장을 포함한 개선 변형에서도 더 나은 성능을 보인다.
• AESW에서 Tree-Transformer는 현재까지 보고된 최고 F0.5 점수인 50.43를 달성하여 시퀀스 기반 Transformer (48.03)을 능가한다.
• 트리 구조에 대한 배치 가능한 어텐션으로 교육 효율이 좋아 대형 데이터셋에서 수개월 걸리던 학습 시간을 하루 이내로 단축한다.
• TCB와 트리 구조가 충분한 국지성을 제공하므로 위치 인코딩을 피하고, 작은 교정 데이터셋에서 과적합을 줄인다.