[논문 리뷰] Generative Neural Machine for Tree Structures

Ganbin Zhou, Ping Luo외 5명|arXiv (Cornell University)|2017. 04. 30.

Topic Modeling참고 문헌 15인용 수 4

한 줄 요약

이 논문은 사전에 정의된 단말 노드가 필요 없이 트리 구조 출력을 생성하는 상향식 신경망인 X2Tree를 제안한다. 조상 메모리를 사용해 순차적으로 순서 있는 자식 노드를 생성함으로써, 순서-트리 학습 프레임워크에서 기준 모델 대비 대화 응답 수용률을 11.15% 향상시킨다.

ABSTRACT

Tree structures are commonly used in the tasks of semantic analysis and understanding over the data of different modalities, such as natural language, 2D or 3D graphics and images, or Web pages. Previous studies model the structures in a bottom-up manner, where the leaf nodes (given in advance) are merged into internal nodes until they reach the root node. However, these models are not applicable when the leaf nodes are not explicitly specified ahead of prediction. Here, we introduce a neural machine for top-down generation of structures that aims to infer such structures without the specified leaf nodes. In this model, the history memories from ancestors are fed to a node to generate its (ordered) children in a recursive manner. This model can be utilized as a tree-structured decoder in the framework of to tree learning, where X stands for any structure (e.g. chain, etc.) that can be represented as a latent vector. By transforming the dialogue generation problem into a sequence-to-tree task, we demonstrate the proposed X2Tree framework achieves a 11.15% increase of response acceptance ratio over the baseline methods.

연구 동기 및 목표

• 예측 이전에 명시적으로 지정된 단말 노드가 필요로 하는 기존 하향식 트리 생성 모델의 한계를 해결하기 위해.
• 최종 노드의 사전 지식 없이 잠재 표현에서 트리 구조를 추론할 수 있는 생성 프레임워크를 개발하기 위해.
• 대화 응답 생성과 같은 작업에서 엔드 투 엔드 트리 구조 시퀀스 생성을 가능하게 하기 위해.
• 노드 자식이 조상으로부터의 계층적 맥락에 기반해 생성되는 재귀적 디코딩 메커니즘을 도입하기 위해.

제안 방법

• 모델은 루트에서 시작해 각 노드에 대해 순서 있는 자식 노드를 재귀적으로 생성하는 상향식 생성 전략을 사용한다.
• 각 노드에서 순환 신경망은 조상 노드의 이력 메모리를 사용해 자식의 생성을 조건화한다.
• 프레임워크는 입력 시퀀스를 잠재 벡터 표현을 사용해 트리 구조 출력으로 매핑하는 트리 구조 디코더로 설계되어 있다.
• X를 탄력적인 잠재 표현으로 간주함으로써 다양한 트리 구조(예: 체인)를 지원한다.
• 자식 생성 중 조상 맥락에 주의를 기울이는 어텐션 메커니즘을 활용해 구조적 일관성을 확보한다.
• 순서-트리 학습 프레임워크에 통합되어 시퀀스 모델링 목표와 함께 공동 학습이 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 신경 모델이 사전에 정의된 단말 노드 없이 트리 구조 출력을 생성할 수 있는가?
• RQ2 조상 메모리가 강화된 상향식 생성 전략은 일관된 트리 구조를 구성하는 데 얼마나 효과적인가?
• RQ3 제안된 X2Tree 프레임워크는 기준 모델 대비 대화 생성에서 응답 품질을 어느 정도 향상시키는가?
• RQ4 동일한 잠재 표현 하에 다양한 트리 구조(예: 체인 또는 분기 형태)로 일반화할 수 있는가?

주요 결과

• X2Tree 프레임워크는 대화 생성에서 기준 방법 대비 11.15% 높은 응답 수용률을 달성한다.
• 모델은 추론 시에 단말 노드를 명시적으로 지정할 필요 없이도 구조화된 출력을 성공적으로 생성한다.
• 조상 메모리의 사용은 일관되고 순서 있는 자식 생성을 가능하게 하여 구조적 정밀도를 향상시킨다.
• 프레임워크는 순서-트리 학습에서 효과적이며, 대화 응답 생성 작업에서 뛰어난 성능을 보여준다.