[논문 리뷰] DDRprog: A CLEVR Differentiable Dynamic Reasoning Programmer

Joseph Suárez, Justin Johnson외 1명|arXiv (Cornell University)|2018. 03. 30.

Multimodal Machine Learning Applications참고 문헌 14인용 수 26

한 줄 요약

DDRprog는 순환적이고 분기 가능한 아키텍처에서 프로그램 생성과 실행을 함께 학습하는 미분 가능 동적 추론 프레임워크를 도입하여 논리적 분기 경로를 통해 엔드 투 엔드 백프로파게이션을 가능하게 한다. CLEVR에서 최고 성능을 기록하며 하위작업 일致성과 RPN에서의 일반화 능력을 향상시켰고, 스택 기반 추론을 명시적으로 모델링함으로써 장거리 시퀀스에서 LSTMs를 초월한다.

ABSTRACT

We present a novel Dynamic Differentiable Reasoning (DDR) framework for jointly learning branching programs and the functions composing them; this resolves a significant nondifferentiability inhibiting recent dynamic architectures. We apply our framework to two settings in two highly compact and data efficient architectures: DDRprog for CLEVR Visual Question Answering and DDRstack for reverse Polish notation expression evaluation. DDRprog uses a recurrent controller to jointly predict and execute modular neural programs that directly correspond to the underlying question logic; it explicitly forks subprocesses to handle logical branching. By effectively leveraging additional structural supervision, we achieve a large improvement over previous approaches in subtask consistency and a small improvement in overall accuracy. We further demonstrate the benefits of structural supervision in the RPN setting: the inclusion of a stack assumption in DDRstack allows our approach to generalize to long expressions where an LSTM fails the task.

연구 동기 및 목표

• 신경 추론 모델에서 동적 프로그램 아키텍처의 비미분 가능성 문제를 해결하기 위해.
• 순환 제어기의 엔드 투 엔드 학습을 가능하게 하여 순차적으로 모듈형 프로그램을 예측하고 실행하기 위해.
• 스택 동작 및 논리적 분기와 같은 구조적 지도를 신경망에 통합하여 추론 일반화 능력을 향상시키기 위해.
• 이산 데이터 구조(예: 스택, 트리)의 명시적 모델링이 암묵적 학습을 초월해 성능과 확장성 향상에 기여하는지 입증하기 위해.
• 미분 가능 분기 및 상태 관리 기반으로 이산 논리와 딥러닝을 통합하여 신경망에서 고수준 추론을 가능하게 하기 위해.

제안 방법

• 순환 제어기가 다음 프로그램 모듈을 예측하고 즉시 실행함으로써 예측에서 실행에 이르는 미분 가능한 경로를 생성한다.
• 새로운 분기 메커니즘이 논리적 분기와 트리 구조적 추론을 처리하기 위해 저장된 네트워크 상태 스택을 유지한다.
• 프로그램 모듈은 시각적 및 텍스트적 특징을 처리하는 미분 가능한 함수이며, 모듈 선택 및 실행을 모두 통해 기울기가 역전파된다.
• 프레임워크는 CLEVR의 프로그램 애너테이션을 사용하여 구조적 지도를 제공하며, 질문 논리를 실행 가능한 프로그램으로 명시적으로 모델링한다.
• DDRstack은 아키텍처에 스택 동작을 직접 통합하여 역폴란드 표기법(RPN) 표현식을 평가하는 데 프레임워크를 확장한다.
• 모델은 Adam 최적화기를 사용하여 엔드 투 엔드로 학습되며, 예측된 답변에 대한 L1 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 신경망은 미분 가능한 방식으로 모듈형 프로그램을 예측하고 실행하는 것을 동시에 학습할 수 있는가?
• RQ2 스택 동작과 같은 명시적 구조적 지도가 추론 작업의 일반화 능력을 어떻게 향상시키는가?
• RQ3 미분 가능한 분기 메커니즘이 시각적 질의 응답에서 논리적 분기를 효과적으로 처리하는 데 기여하는가?
• RQ4 이산 데이터 구조 가정(예: 스택)을 통합하면 암묵적 학습에 비해 더 높은 성능과 일반화 능력을 달성할 수 있는가?
• RQ5 간결한, 미분 가능한 아키텍처는 복잡한 추론 작업(예: RPN)에서 더 큰 비미분 기반 모델을 능가할 수 있는가?

주요 결과

• DDRprog는 CLEVR에서 하위작업 일치성을 향상시켜 Count 작업에서 96.5%의 정확도(이전 94.5%)와 Compare Integer에서 98.4%(이전 93.8%)를 달성한다.
• DDRprog는 이전 접근 방식에 비해 훨씬 더 작은 모델(17k 파라미터)로 CLEVR에서 최고 성능을 기록한다.
• DDRstack은 더 긴 RPN 시퀀스(n=30)에서도 효과적으로 일반화되며, 표준 LSTM 베이스라인은 일반화에 실패하고 n=10을 초과하면 급격히 오류가 증가한다.
• LSTM 베이스라인은 n=10 시퀀스에서 테스트 L1 오차 0.28을 기록하지만, DDRstack은 훨씬 더 작은 모델로 0.17의 오차를 기록하며 n=30까지 매끄럽게 일반화된다.
• LSTM과 DDRstack 간의 성능 격차는 n=6에서 n=10 사이에 크게 벌어지며, 이는 LSTM이 기본적인 스택 구조를 학습하지 못하고 있음을 시사한다.
• 증가하는 시퀀스 길이에서 DDRstack의 매끄러운 일반화 곡선은 명시적 스택 모델링이 암묵적 기억에 의존하는 LSTM과 달리 강력한 일반화를 가능하게 한다는 것을 확인한다.