[논문 리뷰] DRAGNN: A Transition-based Framework for Dynamically Connected Neural Networks

Lingpeng Kong, Chris Alberti외 3명|arXiv (Cornell University)|2017. 03. 13.

Topic Modeling참고 문헌 23인용 수 31

한 줄 요약

DRAGNN는 중간 활성화 기반으로 네트워크 연결을 전개함으로써 효율적이고 구조화된 예측을 가능하게 하는 모듈형, 전이 기반의 동적 연결 순환 신경망 프레임워크이다. 이 프레임워크는 의존성 파싱과 개요 추출 작업에서 최고 성능을 기록하며, 정확도 향상과 선형 시간 추론을 달성하여 주어진 계산 비용 내에서 표준 seq2seq 모델과 고정 아키텍처 모델을 모두 능가한다.

ABSTRACT

In this work, we present a compact, modular framework for constructing novel recurrent neural architectures. Our basic module is a new generic unit, the Transition Based Recurrent Unit (TBRU). In addition to hidden layer activations, TBRUs have discrete state dynamics that allow network connections to be built dynamically as a function of intermediate activations. By connecting multiple TBRUs, we can extend and combine commonly used architectures such as sequence-to-sequence, attention mechanisms, and re-cursive tree-structured models. A TBRU can also serve as both an encoder for downstream tasks and as a decoder for its own task simultaneously, resulting in more accurate multi-task learning. We call our approach Dynamic Recurrent Acyclic Graphical Neural Networks, or DRAGNN. We show that DRAGNN is significantly more accurate and efficient than seq2seq with attention for syntactic dependency parsing and yields more accurate multi-task learning for extractive summarization tasks.

연구 동기 및 목표

• 구조화된 예측 작업을 위한 순차적-순차적 모델에서 고정 크기 인코딩과 이차적 어텐션 메커니즘의 한계를 해결하기 위해.
• 입력 및 출력의 구조적 구조(예: 파싱 트리, 의존 관계 등)를 명시적으로 지원하는 동적이고 구조 인식 신경망 아키텍처를 가능하게 하기 위해.
• 다중 작업 학습을 위한 단일 모듈형 프레임워크로 인코더-디코더, 어텐션, 재귀 신경망 패러다임을 통합하기 위해.
• 중간 구조적 표현을 예측하고 활용할 수 있도록 하여 오류 역전파와 표현 공유를 향상시키기 위해.

제안 방법

• 프레임워크는 이산 상태 동역학을 유지하고 중간 활성화 기반으로 재귀를 계산하는 모듈형 신경 단위인 전이 기반 순환 유닛(TBRU)을 도입한다.
• TBRUs는 각 전이 상태에 대한 벡터 표현을 생성하며, 이는 숨은 상태이자 파생 구성 요소와 같은 중간 출력의 구조적 인코딩으로 기능한다.
• TBRU 간의 동적 연결은 예측된 동작에 의해 결정되며, 이는 추론 중에 전개되는 순환적이지 않은, 작업별 최적화된 계산 그래프를 가능하게 한다.
• 입력, 부분트리, 재귀 유형의 다수의 연결 유형을 지원함으로써, 작업 및 아키텍처 간 표현 공유의 유연성을 확보한다.
• 다양한 작업(예: 파싱 및 요약) 간 TBRU를 연결함으로써 다중 작업 학습을 가능하게 하며, 공유된 중간 표현을 활용한다.
• 한 개의 TBRU 내에서 인코더 및 디코더 역할을 모두 수행할 수 있어, 중간 구조를 통해 역전파가 가능한 종단 간 학습이 가능하다.

실험 결과

연구 질문

• RQ1 표준 seq2seq 모델과 어텐션을 사용하는 것과 비교해, 모듈형이고 동적인 신경망 프레임워크가 의존성 파싱과 같은 구조화된 예측 작업에서 성능 향상을 이룰 수 있는가?
• RQ2 다양한 NLP 작업 간에 중간 구조적 표현(예: 파싱 트리)을 효과적으로 공유하고 활용할 수 있는 단일 모델 내에서 어떻게 실현할 수 있는가?
• RQ3 신경 단위 간의 동적이고 순환하지 않는 연결이, 이차 어텐션 메커니즘과 달리 선형 시간 추론을 달성하면서도 장거리 의존성을 유지할 수 있는가?
• RQ4 단일 TBRU가 인코더이자 디코더로 동시에 기능할 수 있는 정도는 어느 정도이며, 이로 인해 다중 작업 학습의 정확도가 얼마나 향상되는가?
• RQ5 명시적인 구조적 표현 통합이 다중 작업 학습 환경에서 개요 추출 성능 향상에 기여하는가?

주요 결과

• DRAGNN는 트리뱅크 유니언 설정에서 기존의 동일한 계산 비용을 가진 모델들을 능가하는 최고 수준의 의존성 파싱 정확도를 달성한다.
• 프레임워크는 Subtree 기능을 통해 의존성 파서에서 유도된 어구 표현에 직접 접근할 수 있도록 함으로써, 요약 모델의 성능을 크게 향상시킨다.
• 양방향 파싱에서 상호 오류 역전파를 허용함으로써, 양방향 파서 간의 상호 오류 전파를 가능하게 하여 누적 오류를 줄였다.
• 모델은 선형 시간 추론을 달성하여 어텐션 메커니즘의 이차 복잡도를 피하면서도, 동적 연결을 통해 장거리 의존성 모델링을 유지한다.
• DRAGNN를 활용한 다중 작업 학습은 단일 작업 기반 베이스라인과 이전의 다중 작업 설정(예: 스택 전파 또는 공유 인코더-디코더 아키텍처)을 모두 능가하는 높은 성능을 기록한다.
• TBRU의 사용은 중간 구조(예: 파생 구성 요소)를 동시에 예측하고 활용할 수 있도록 하며, 전체 계산 그래프에 걸쳐 종단 간 미분 가능성을 보장한다.