[논문 리뷰] A Multi-scale Multiple Instance Video Description Network

Huijuan Xu, Subhashini Venugopalan외 3명|arXiv (Cornell University)|2015. 05. 21.

Multimodal Machine Learning Applications참고 문헌 8인용 수 46

한 줄 요약

이 논문은 종단간(end-to-end) 학습 가능한 아키텍처인 다중 척도 다중 인스턴스 영상 설명 네트워크(MM-VDN)를 제안한다. 이 네트워크는 완전 컨volution 네트워크(FCNs)와 다중 인스턴스 학습(MIL)을 결합하여 영상 프레임 내 다양한 척도와 위치에서 객체를 검출하고 국소화한다. 다중 척도 FCN 특징과 순서-순서 LSTM을 통합함으로써, 단일 척도 CNN 기반 모델보다 더 정확하고 세부적인 영상 설명을 생성하며, 유튜브 영상 설명 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Generating natural language descriptions for in-the-wild videos is a challenging task. Most state-of-the-art methods for solving this problem borrow existing deep convolutional neural network (CNN) architectures (AlexNet, GoogLeNet) to extract a visual representation of the input video. However, these deep CNN architectures are designed for single-label centered-positioned object classification. While they generate strong semantic features, they have no inherent structure allowing them to detect multiple objects of different sizes and locations in the frame. Our paper tries to solve this problem by integrating the base CNN into several fully convolutional neural networks (FCNs) to form a multi-scale network that handles multiple receptive field sizes in the original image. FCNs, previously applied to image segmentation, can generate class heat-maps efficiently compared to sliding window mechanisms, and can easily handle multiple scales. To further handle the ambiguity over multiple objects and locations, we incorporate the Multiple Instance Learning mechanism (MIL) to consider objects in different positions and at different scales simultaneously. We integrate our multi-scale multi-instance architecture with a sequence-to-sequence recurrent neural network to generate sentence descriptions based on the visual representation. Ours is the first end-to-end trainable architecture that is capable of multi-scale region processing. Evaluation on a Youtube video dataset shows the advantage of our approach compared to the original single-scale whole frame CNN model. Our flexible and efficient architecture can potentially be extended to support other video processing tasks.

연구 동기 및 목표

• 복잡한 영상 프레임에서 소형 또는 다중 객체를 검출하는 데에 단일 척도 전체 프레임 CNN의 한계를 해결하기 위해.
• 객체 척도, 위치, 수에 대한 불확실성을 다룰 수 있도록 영상 설명을 위한 종단간 학습을 가능하게 하기 위해.
• 공간적으로 국소화된 다중 척도 시각적 표현을 통합하여 영상 캡션 성능을 향상시키기 위해.
• 바운딩 박스나 인스턴스 수준의 애너테이션을 요구하지 않고도 문장 수준의 애너테이션에서 약한 지도를 활용하여 학습할 수 있도록 하기 위해.

제안 방법

• 사전 훈련된 AlexNet을 완전 컨볼루션 네트워크(FCN)로 변환하여 다양한 입력 척도에서 클래스 점수 맵을 생성한다.
• 다른 입력 해상도를 가진 다중 FCN을 사용하여 다양한 수신장 크기의 특징을 캡처함으로써 소형 및 대형 객체 검출을 가능하게 한다.
• 문장 캡션에서 온 약한 지도를 기반으로 각 척도에서 가장 관련성이 높은 영역과 척도를 선택하기 위해 다중 인스턴스 학습(MIL) 기법을 적용한다.
• MIL 처리된 다중 척도 특징을 순서-순서 LSTM 디코더에 통합하여 자연어 기반 설명을 생성한다.
• 정답 문장 애너테이션에 기반한 교차 엔트로피 손실을 사용하여 전체 네트워크를 종단간으로 학습시킨다.
• CNN 구성 요소를 사전 훈련된 ImageNet 가중치로 초기화하여 특징 품질 향상과 수렴 속도 향상을 도모한다.

실험 결과

연구 질문

• RQ1 단일 척도 전체 프레임 CNN에 비해 다중 척도 특징 추출이 영상 설명 품질 향상에 기여하는가?
• RQ2 인스턴스 수준의 애너테이션이 없이도 다중 인스턴스 학습(MIL)이 관련 시각적 개념을 얼마나 효과적으로 국소화하는가?
• RQ3 다중 척도 FCN 특징과 종단간 학습 가능한 아키텍처를 조합함으로써 캡션 성능 향상이 어느 정도 이루어지는가?
• RQ4 다양한 입력 척도와 훈련 제도가 영상에서 소형 또는 먼 거리의 객체를 검출하고 기술하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• MM-VDN은 단일 척도 CNN 기반 모델과 기존 모델인 LSTM-YT 및 FGM에 비해 정확한 영상 설명 생성에서 뚜렷한 승리를 거두었다.
• 모델은 더 세부적이고 맥락적으로 올바른 캡션을 생성하며, 예를 들어 '사람이 당근을 썰고 있다'고 정확히 식별하는 등 '사람이 토마토를 썰고 있다'는 오류보다 더 정확한 기술을 제공한다.
• FCN 구성 요소에서 유도된 히트맵은 당근이나 기타 기타르 같은 소형 객체를 명확히 국소화하여 다중 척도 검출의 효과성을 입증한다.
• 다중 척도 특징과 MIL의 조합은 히스토GRAM에서 각 척도가 독립적인 고점수 특징을 기여함으로써 상호 보완적인 향상을 이룬다.
• 테스트 케이스의 70%에서 MM-VDN은 부분적으로나마 정확하거나 완전히 정확한 설명을 생성하였으며, 전체 프레임 특징에서 보이지 않는 행동과 객체를 검출하는 데서 뚜렷한 향상이 있었다.
• 기존 기반 모델 대비 환상적인 오류(예: '판다가 걷고 있다'는 대신 '거북이가 걷고 있다')를 더 적게 내는 등 실제 정답과의 일치도가 더 높아 보였다.