[논문 리뷰] Compositional Generalization with Tree Stack Memory Units

Forough Arabshahi, Zhichu Lu외 3명|arXiv (Cornell University)|2019. 11. 05.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 각 노드에 미분 가능 스택 메모리 유닛을 통합함으로써 구성적 일반화를 향상시키는 재귀 신경망 아키텍처인 트리 스택 메모리 유닛(Tree-SMU)을 제안한다. 소프트 푸시 및 팝 연산을 통해 자식 노드 상태와 스택을 결합함으로써, Tree-SMU는 장거리 의존성을 포착하고 구조적 순서를 유지하며, 트랜스포머와 트리-LSTM에 비해 수학적 추론 벤치마크에서 최신 기술 수준의 제로샷 일반화 성능을 달성한다.

ABSTRACT

We study compositional generalization, viz., the problem of zero-shot generalization to novel compositions of concepts in a domain. Standard neural networks fail to a large extent on compositional learning. We propose Tree Stack Memory Units (Tree-SMU) to enable strong compositional generalization. Tree-SMU is a recursive neural network with Stack Memory Units (\SMU s), a novel memory augmented neural network whose memory has a differentiable stack structure. Each SMU in the tree architecture learns to read from its stack and to write to it by combining the stacks and states of its children through gating. The stack helps capture long-range dependencies in the problem domain, thereby enabling compositional generalization. Additionally, the stack also preserves the ordering of each node's descendants, thereby retaining locality on the tree. We demonstrate strong empirical results on two mathematical reasoning benchmarks. We use four compositionality tests to assess the generalization performance of Tree-SMU and show that it enables accurate compositional generalization compared to strong baselines such as Transformers and Tree-LSTMs.

연구 동기 및 목표

• 표준 신경망이 분포 이탈 상황에서 제로샷 구성적 일반화에 실패하는 문제를 해결하기 위해.
• Tree-LSTM와 같은 재귀 신경망에서 오차 전파와 장거리 의존성 포착 능력의 한계를 극복하기 위해.
• 새로운 조합에 대해 체계적인 일반화를 지원하는 메모리 증강 재귀 아키텍처를 설계하기 위해.
• 깊이 외삽 및 의미적 동치성과 같은 다양한 구성성 테스트를 통해 일반화 성능을 평가하기 위해.
• 내부 메모리 통합이 제로샷 일반화와 샘플 효율성 모두에 기여하는지 입증하기 위해.

제안 방법

• Tree-SMU는 각 노드에 미분 가능 스택 구조를 가진 스택 메모리 유닛(SMU)을 포함하는 재귀 신경망이다.
• 각 SMU는 게이팅 메커니즘으로 제어되는 게이팅 메커니즘을 통해 스택에서 읽기 및 쓰기 작업을 학습한다.
• 부모 노드의 스택은 자식의 스택과 은닉 상태를 게이팅 메커니즘을 통해 조합하여 형성된다.
• 소프트 푸시 및 팝 연산을 통해 모델는 자식의 정보를 저장하고 복원할 수 있으며, 이는 비국소적 의존성에 간접적으로 접근할 수 있도록 한다.
• 스택 구조는 자식의 순서를 유지하여 국소성과 계층적 조합을 지원한다.
• 외부 메모리 모듈이 이전 연구에서 관찰된 실패 원인을 피하기 위해 셀 내부에 메모리를 통합한다.

실험 결과

연구 질문

• RQ1 내부 스택 메모리를 갖춘 재귀 신경망이 표준 아키텍처보다 새로운 조합에 대해 더 나은 제로샷 일반화 성능을 달성할 수 있는가?
• RQ2 스택 메모리 메커니즘이 훈련 중에 관찰된 깊이보다 더 깊거나 浅은 조합에 대해 일반화 성능을 향상시키는가?
• RQ3 모델는 서로 다른 구조이지만 기능적으로 동일한 표현에 대해 의미적으로 동일한 표현을 학습할 수 있는가?
• RQ4 스택 메모리 통합은 재귀 네트워크의 샘플 효율성과 오차 보정 능력에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처는 트랜스포머와 트리-LSTM와 같은 강력한 베이스라인을 초월하는가?

주요 결과

• Localism Test에서 Tree-SMU는 테스트 세트에서 98.86%의 정확도를 기록했으며, Tree-LSTM(91.58%)과 Tree-RNN(85.36%)를 크게 앞서갔다.
• Compositionality Test에서 Tree-SMU는 83.29%의 정확도를 기록했으며, Tree-LSTM(83.06%)과 Tree-RNN(83.06%)를 초월했고, 분포 이탈에 대한 강건성도 향상되었다.
• Depth Extrapolation Test에서 Tree-SMU는 79.57%의 정확도를 기록했으며, Tree-LSTM(77.58%)과 Tree-RNN(75.00%)에 비해 뚜렷한 향상이 있었다.
• Tree-SMU는 모든 네 가지 구성성 테스트에서 일관된 성능을 보이며 강력한 제로샷 일반화 능력을 입증했다.
• 모델는 샘플 효율성이 향상되었으며, 훈련 세트(깊이 5–13)에서 훈련 정확도가 95.04%였고, 이는 제한된 데이터로부터 더 잘 학습한다는 것을 시사한다.
• 제거 실험을 통해 스택 증강 RNN을 트리 구조 네트워크에 단순하게 확장하는 것은 실패한다는 것이 확인되었으며, 통합된 SMU 설계의 필요성을 입증했다.