[논문 리뷰] Deep Multitask Learning for Semantic Dependency Parsing

Hao Peng, Sam Thomson외 1명|arXiv (Cornell University)|2017. 04. 22.

Natural Language Processing Techniques참고 문헌 60인용 수 23

한 줄 요약

이 논문은 공유된 양방향 LSTM과 다층 퍼셉트론을 사용하여 DM, PAS, PSD 세 가지 형식 체계를 함께 모델링하는 딥 멀티태스크 학습 프레임워크를 제안한다. 형식 체계 간에 파rameter를 공유하고 고차 구조적 의존성을 모델링함으로써, 문법적 특징이나 수작업으로 설계된 표현에 의존하지 않고 SemEval 2015 광범위 커버리지 의미적 의존성 파싱 과제에서 최신 기준 성능을 달성한다.

ABSTRACT

We present a deep neural architecture that parses sentences into three semantic dependency graph formalisms. By using efficient, nearly arc-factored inference and a bidirectional-LSTM composed with a multi-layer perceptron, our base system is able to significantly improve the state of the art for semantic dependency parsing, without using hand-engineered features or syntax. We then explore two multitask learning approaches---one that shares parameters across formalisms, and one that uses higher-order structures to predict the graphs jointly. We find that both approaches improve performance across formalisms on average, achieving a new state of the art. Our code is open-source and available at https://github.com/Noahs-ARK/NeurboParser.

연구 동기 및 목표

• 다양한 의미적 형식 체계 간에 공유된 표현을 활용하여 의미적 의존성 파싱 성능을 향상시키기 위해.
• 다른 형식 체계 간의 구조적 및 의미적 유사성을 멀티태스크 학습을 통해 활용하여 의미 파싱에서의 데이터 부족 문제를 해결하기 위해.
• 수작업으로 설계된 특징이나 문법적 파싱에 의존하지 않는 강력한 신경망 아키텍처를 개발하기 위해.
• 다양한 형식 체계의 공동 모델링이 파rameter 공유와 구조적 상호작용을 통해 파싱 정확도를 향상시키는지 조사하기 위해.
• 제한된 병렬 주석이 존재하는 저자원 의미 파싱 환경에서 멀티태스크 학습의 효과성을 평가하기 위해.

제안 방법

• 입력 문장을 인코딩하고 각 형식 체계의 의미적 아크 점수를 매기기 위해 양방향 LSTM 이후 다층 퍼셉트론을 사용한다.
• 효율적인 디코딩을 위해 거의 아크-요소화된 추론을 적용하여 방향성 있는 레이블이 부여된 의존성 그래프를 추론한다.
• 공유 인코더를 통해 형식 체계 간에 파rameter를 공유하여 공통적인 언어적 패턴을 활용한다.
• 공유된 출력 구조를 사용하여 형식 체계 간에 동시에 그래프를 예측하는 고차 구조 모델링 방법을 도입한다.
• 아크 및 술어 예측에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련하고, 디코딩에는 빔 서치를 적용한다.
• 파rameter 공유와 공동 구조 모델링을 상호 보완적인 멀티태스크 학습 전략으로 평가한다.

실험 결과

연구 질문

• RQ1 여러 의미적 형식 체계 간에 파rameter를 공유하면 저자원 환경에서 파싱 성능 향상이 가능할까?
• RQ2 형식 체계 간에 구조적 의존성을 공동으로 모델링하면 독립적인 파싱보다 더 나은 일반화 성능을 달성할 수 있을까?
• RQ3 형식 체계 간의 구조적 유사성(예: DM 대비 PAS 대비 PSD)이 멀티태스크 학습 성능에 어떤 영향을 미칠까?
• RQ4 파ip라인 접근 방식에 비해 멀티태스크 학습이 오류 전파를 얼마나 줄일 수 있을까?
• RQ5 단일 신경망 아키텍처가 문법적 감독 없이도 여러 의미적 형식 체계를 효과적으로 처리할 수 있을까?

주요 결과

• 제안된 기본 모델은 문법적 특징 없이도 SemEval 2015 공동 과제의 세 형식 체계 모두에서 최신 기준 성능을 달성한다.
• 형식 체계 간 파rameter 공유로 평균적으로 언라벨링 F1이 0.2–0.3 포인트 향상되었으며, 구조적으로 더 유사한 형식 체계인 DM과 PAS에서 더 큰 성과 향상이 관찰되었다.
• 고차 구조 모델링을 통한 공동 모델링이 성능을 추가로 향상시켰으며, 특히 언라벨링 F1에서 두드러진 성과를 보였다. 두 멀티태스크 전략을 결합했을 때 최고의 성능 기록을 달성했다.
• 개발 세트에서 DM에 대해 91.9%의 언라벨링 F1, PAS에 대해 93.4%, PSD에 대해 88.6%를 기록하여 이전 시스템을 모두 초월했다.
• 구조적 분석 결과, PSD는 DM 및 PAS와는 달리 화살표 방향성에서 상당한 차이를 보이며, 이는 방향성 모델링 시 PSD에서 성능 향상이 더 작은 이유를 설명한다.
• 방향성 구조를 모델링할 경우 PSD에서 성능 저하가 발생함에 따라, 방향성 불일치가 공동 학습을 방해할 수 있음을 시사하며, 향후 연구에서는 보다 선택적 구조 모델링이 필요할 것으로 보인다.