[논문 리뷰] Learning to Compose Dynamic Tree Structures for Visual Contexts

Kaihua Tang, Hanwang Zhang외 3명|arXiv (Cornell University)|2018. 12. 05.

Multimodal Machine Learning Applications참고 문헌 43인용 수 31

한 줄 요약

이 논문은 시각적 추론을 위한 작업별로 다른 객체 관계를 학습하는 동적 트리 구조의 시각적 맥락 모델인 VCTree를 제안한다. 학습 가능한 쌍별 객체 점수에서 최대 스패닝 트리(MST)를 구성하고, 이를 TreeLSTM로 인코딩함으로써 VCTree는 시나리오 그래프 생성 및 시각적 질의 응답(VQA)에서 최신 기술 수준의 성능을 달성한다. 고정된 구조(예: 체인, 완전 연결 그래프)보다 우수하며, 설명 가능하고 콘텐츠 기반의 맥락 모델링을 가능하게 한다.

ABSTRACT

We propose to compose dynamic tree structures that place the objects in an image into a visual context, helping visual reasoning tasks such as scene graph generation and visual Q&A. Our visual context tree model, dubbed VCTree, has two key advantages over existing structured object representations including chains and fully-connected graphs: 1) The efficient and expressive binary tree encodes the inherent parallel/hierarchical relationships among objects, e.g., "clothes" and "pants" are usually co-occur and belong to "person"; 2) the dynamic structure varies from image to image and task to task, allowing more content-/task-specific message passing among objects. To construct a VCTree, we design a score function that calculates the task-dependent validity between each object pair, and the tree is the binary version of the maximum spanning tree from the score matrix. Then, visual contexts are encoded by bidirectional TreeLSTM and decoded by task-specific models. We develop a hybrid learning procedure which integrates end-task supervised learning and the tree structure reinforcement learning, where the former's evaluation result serves as a self-critic for the latter's structure exploration. Experimental results on two benchmarks, which require reasoning over contexts: Visual Genome for scene graph generation and VQA2.0 for visual Q&A, show that VCTree outperforms state-of-the-art results while discovering interpretable visual context structures.

연구 동기 및 목표

• 체인과 완전 연결 그래프와 같은 고정된 시각적 맥락 구조가 계층적이고 병렬적인 객체 관계를 모델링하는 데 한계를 가진다는 문제를 해결하기 위해.
• 다양한 추론 작업(예: 시나리오 그래프 생성, 시각적 질의 응답)에 적응하는 동적이고 콘텐츠 및 작업 기반의 시각적 맥락 모델링을 가능하게 하기 위해.
• 병렬적이고 계층적인 관계를 모두 포괄하는 구조적이고 해석 가능한 객체 상호작용 표현을 학습하여 고수준 시각 작업의 성능을 향상시키기 위해.
• 더 구분력 있고 적응 가능한 맥락 구조를 통해 시각적 질의 응답(VQA)에서의 편향(예: 질문-답변 편향, 카테고리 편향)을 완화하기 위해.
• 최종 작업 성능과 맥락 구조를 동시에 최적화하기 위한 종단간 훈련을 위한 하이브리드 학습 프레임워크를 개발하기 위해.

제안 방법

• 학습 가능한 함수를 사용하여 객체 쌍 간의 작업별 점수 행렬을 구성하여 각 쌍의 맥락 타당성을 표현한다.
• 점수 행렬에서 최대 스패닝 트리(MST)를 계산하여 계층적이고 희소한 동적 시각적 맥락 트리를 생성한다.
• 다중 분지 MST를 왼쪽 자식 오른쪽 형제 이진 트리로 변환하여 계층적이고 병렬적인 관계를 효율적으로 TreeLSTM으로 인코딩할 수 있도록 한다.
• 양방향 TreeLSTM를 사용하여 트리 구조의 맥락을 인코딩함으로써 객체 간의 장거리 의존성과 계층적 관계를 포착한다.
• 하이브리드 학습 전략을 통해 모델을 훈련한다: 하류 작업 성능(예: SGG, VQA)을 위한 지도 학습을 사용하고, 그 평가 결과(예: 정확도, 재현율)를 강화 학습 루프 내에서 평가 기준 신호로 활용하여 트리 구조 탐색을 이끌어낸다.
• VQA에서 질문 유도형 게이트를 통합하여 맥락 구조를 특정 질의에 맞게 적응시켜 작업의 관련성과 해석 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고정된 구조(예: 체인, 완전 연결 그래프)보다 동적이고 학습 가능한 트리 구조가 고수준 시각 작업을 위한 시각적 맥락을 모델링하는 데 더 우수한 성능을 보일 수 있는가?
• RQ2 트리 구조의 맥락 표현이 계층적 관계(예: '헬멧이 머리 위에')와 병렬 관계(예: '소녀가 말 위에')를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 트리 구조의 동적 성질이 시나리오 그래프 생성 및 시각적 질의 응답과 같은 추론 작업 성능에 얼마나 기여하는가?
• RQ4 지도 학습과 강화 학습을 융합한 제안된 하이브리드 학습 프레임워크가 맥락 구조와 하류 작업 성능을 효과적으로 최적화할 수 있는가?
• RQ5 학습된 VCTree 구조가 SGG의 카테고리 편향과 VQA의 질문-답변 편향을 줄이는가?

주요 결과

• VCTree는 Visual Genome에서 시나리오 그래프 생성(SGG)의 세 가지 표준 작업 모두에서 최신 기술 수준의 성능을 달성하며, 이는 이전 방법들보다 유의미한 격차로 앞서고 있다.
• VQA2.0에서 VCTree-HL은 테스트-디버그 및 테스트-스탠다드 세트 모두에서 최고의 전체 성능을 기록했으며, 균형 잡힌 쌍 세트에서 가장 큰 절대적 개선을 보였다. 이는 질문-답변 편향 감소를 시사한다.
• 균형 잡힌 쌍 세트에서의 모델 성능은 비맥락 기반 모델보다 뚜렷하게 높아, VCTree가 미세한 이미지 차이를 효과적으로 포착하고 편향을 줄이는 데 성공했음을 시사한다.
• 정성적 분석 결과, VCTree는 질문에 따라 적응하는 설명 가능한 동적 트리를 학습하고 있음을 확인했다. 예를 들어, 행동 관련 질문에서는 '남자'를 루트로 삼고, 물체 존재 질문에서는 '나무'를 루트로 삼는다.
• 절단 실험 결과, VCTree-HL은 고정된 구조(예: 완전 연결 그래프)와 다른 동적 구조 정책보다 모두 뛰어난 성능을 보이며, 제안된 점수 함수와 MST 기반 트리 구조화의 효과성을 입증한다.
• 지도 학습의 하류 작업 성능가 강화 학습의 평가 기준 신호로 활용하는 하이브리드 학습 전략은, 미분 가능 트리 구조화가 필요 없이도 최적의 트리 구조 탐색을 효과적으로 가능하게 한다.