[논문 리뷰] Mean Box Pooling: A Rich Image Representation and Output Embedding for the Visual Madlibs Task

Ashkan Mokarian, Mateusz Malinowski외 1명|arXiv (Cornell University)|2016. 08. 09.

Multimodal Machine Learning Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 시각적 이해를 향상시키기 위해 수많은 겹치는 물체 제안 영역에서의 CNN 특징을 집계하는 데 사용되는 Rich한 이미지 표현인 Mean Box Pooling을 소개한다. 출력 공간에서 예측된 답변 임베딩과 진짜 답변 임베딩 간의 유사도를 직접 최적화하는 새로운 텍스트 임베딩 손실과 결합함으로써, 이 방법은 Visual Madlibs 벤치마크에서 기존의 CNN+LSTM 및 nCCA 기반 접근법을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present Mean Box Pooling, a novel visual representation that pools over CNN representations of a large number, highly overlapping object proposals. We show that such representation together with nCCA, a successful multimodal embedding technique, achieves state-of-the-art performance on the Visual Madlibs task. Moreover, inspired by the nCCA's objective function, we extend classical CNN+LSTM approach to train the network by directly maximizing the similarity between the internal representation of the deep learning architecture and candidate answers. Again, such approach achieves a significant improvement over the prior work that also uses CNN+LSTM approach on Visual Madlibs.

연구 동기 및 목표

• 밀도 있고 겹치는 물체 제안 영역을 활용하여 Visual Madlibs 작업을 위한 시각적 표현을 향상시키기.
• CNN+LSTM 모델에서 후행 처리 기반의 답변 선택의 한계를 해결하기 위해, 유사도 계산을 학습 과정에 직접 통합하기.
• 임베딩 유사도의 엔드 투 엔드 최적화가 다중 선택 시각 추론 작업에서 더 나은 성능을 이끌어내는지 입증하기.
• 많은 수의 겹치는 물체 제안 영역에 대한 풀링이 특징의 풍부함과 모델 성능 향상에 기여하는지 보여주기.

제안 방법

• Mean Box Pooling은 수많은 겹치는 물체 제안 영역에서의 CNN 특징을 집계하여 다중 해상도의 풍부한 이미지 표현을 생성한다.
• 공유된 공간에 이미지 및 텍스트 표현을 임베딩하기 위해 정규화된 상관 분석(nCCA)을 사용한다.
• 예측된 출력 임베딩과 진짜 답변 임베딩 간의 코사인 유사도를 최대화하도록 학습하는 새로운 텍스트 임베딩 손실을 도입한다.
• 후행 처리 기반의 답변 비교 방식을 대체하기 위해, CNN+LSTM 아키텍처를 개선하여 임베딩 공간에서 직접적인 유사도 최적화를 통합한다.
• 예측된 임베딩이 올바른 후보 답변과 일치하도록 유도하는 대비 손실을 사용하여 엔드 투 엔드로 모델을 학습한다.
• 이 방법은 Visual Madlibs 데이터셋에서 평가되었으며, 쉬운 태스크와 어려운 태스크 모두에서 이전의 최신 기술 수준 모델을 능가하는 성능을 보였다.

실험 결과

연구 질문

• RQ1 많은 수의 겹치는 물체 제안 영역에 대해 풀링을 수행하면 시각 추론 작업을 위한 시각적 표현이 향상되는가?
• RQ2 예측된 답변과 진짜 답변 간의 임베딩 유사도를 직접 최적화하는 것이, 시각 질문 응답에서 후행 처리 기반 비교 방식보다 더 나은 성능을 내는가?
• RQ3 Mean Box Pooling은 진짜 바운딩 박스 또는 희소한 제안 영역을 사용하는 것과 비교해 성능 및 내성에 어떤 영향을 미치는가?
• RQ4 nCCA를 CNN+LSTM 아키텍처와 통합하면 표준 미세조정을 넘어서 다중 선택 시각 추론 성능을 향상시킬 수 있는가?

주요 결과

• 많은 수의 겹치는 제안 영역에 대해 Mean Box Pooling을 적용한 결과, 진짜 바운딩 박스를 사용한 방법보다 Visual Madlibs 벤치마크에서 최신 기술 수준 성능을 달성했다.
• 제안된 텍스트 임베딩 손실은 CNN+LSTM 베이스라인을 크게 향상시켰으며, 쉬운 태스크에서 54.7%의 정확도, 어려운 태스크에서 49.3%의 정확도를 기록하여 원래의 CNN+LSTM 방법을 초월했다.
• 제안 영역의 밀도가 증가할수록 성능이 향상되며, 매우 겹치는 제안 영역이라도 이는 성능 향상에 기여한다.
• 임베딩 유사도의 엔드 투 엔드 최적화 접근 방식은 이전 연구에서 사용된 후행 처리 비교 전략보다 성능이 뛰어나, 다중 선택 목표와의 더 밀접한 통합의 이점을 입증한다.
• 쉬운 태스크에서 원래의 CNN+LSTM보다 2.1%p 향상된 49.8%의 정확도(47.7% 대비)를 기록했고, 어려운 태스크에서는 2.8%p 향상된 49.3%의 정확도(41.7% 대비)를 달성했다.