[논문 리뷰] Long-term Recurrent Convolutional Networks for Visual Recognition and Description

Jeff Donahue, Lisa Anne Hendricks외 5명|arXiv (Cornell University)|2014. 11. 17.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 공간적 특징 추출을 위한 합성곱 신경망(CNN)과 시간적 모델링을 위한 순환 신경망(LSTM)을 결합한 딥 러닝 아키텍처인 장기 순환 합성곱 네트워크(LRCNs)를 소개한다. 이는 시각적 인식 및 설명 작업을 위한 엔드 투 엔드 훈련을 가능하게 하며, 비디오 행동 인식, 이미지 캡션 생성, 비디오 설명 등에서 최신 기술 수준의 성능을 달성한다. 시각적 표현과 시간적 동역학을 함께 학습함으로써 고정된 시각적 특징이나 단순한 시간 평균화 방법을 사용하는 모델들을 능가한다.

ABSTRACT

Models based on deep convolutional networks have dominated recent image interpretation tasks; we investigate whether models which are also recurrent, or "temporally deep", are effective for tasks involving sequences, visual and otherwise. We develop a novel recurrent convolutional architecture suitable for large-scale visual learning which is end-to-end trainable, and demonstrate the value of these models on benchmark video recognition tasks, image description and retrieval problems, and video narration challenges. In contrast to current models which assume a fixed spatio-temporal receptive field or simple temporal averaging for sequential processing, recurrent convolutional models are "doubly deep"' in that they can be compositional in spatial and temporal "layers". Such models may have advantages when target concepts are complex and/or training data are limited. Learning long-term dependencies is possible when nonlinearities are incorporated into the network state updates. Long-term RNN models are appealing in that they directly can map variable-length inputs (e.g., video frames) to variable length outputs (e.g., natural language text) and can model complex temporal dynamics; yet they can be optimized with backpropagation. Our recurrent long-term models are directly connected to modern visual convnet models and can be jointly trained to simultaneously learn temporal dynamics and convolutional perceptual representations. Our results show such models have distinct advantages over state-of-the-art models for recognition or generation which are separately defined and/or optimized.

연구 동기 및 목표

• 시각적 시퀀스 모델링을 위한 공간적 및 시간적 표현을 함께 학습하는 통합된 딥 러닝 프레임워크를 개발하는 것.
• 비디오 및 이미지 설명 작업에서 고정된 시각적 표현과 단순한 시간 평균화의 한계를 해결하는 것.
• 변동 길이의 입력(예: 비디오)과 변동 길이의 출력(예: 자연어 설명)을 위한 엔드 투 엔드 훈련을 가능하게 하는 것.
• 게이트 메커니즘을 갖춘 LSTM을 사용하여 시각적 시퀀스에서 장기적 시간 의존성 학습을 향상시키는 것.
• 활동 인식, 이미지 캡션 생성, 비디오 설명과 같은 다양한 시각 작업에서 LRCN의 효과성을 입증하는 것.

제안 방법

• 모델은 비디오나 이미지의 각 프레임에서 공간적 특징을 추출하기 위해 CNN을 사용하여 고수준의 시각적 표현 시퀀스를 생성한다.
• 이러한 시각적 특징들은 시간에 따라 순차적으로 연결된 장기 단기 기억(LSTM) 유닛 스택에 입력되어 시간적 의존성과 순차적 동역학을 모델링한다.
• 전체 아키텍처는 시간에 걸쳐 공유된 가중치를 가지며, 임의로 긴 시퀀스에까지 확장 가능한 엔드 투 엔드 훈련이 가능하다.
• 이미지 캡션 생성을 위해 모델은 인코더-디코더 구조를 사용한다: CNN이 이미지를 인코딩하고, LSTM 디코더가 단어 단위로 자연어 설명을 생성한다.
• 추론 과정에서 최고의 가능성 확률을 가진 문장을 생성하기 위해 빔 서치를 적용한다.
• 비디오 설명을 위해 모델은 프레임 시퀀스를 CNN-LSTM 파이프라인을 통해 처리하여 일관적이고 맥락이 풍부한 설명을 생성할 수 있다.

실험 결과

연구 질문

• RQ1 고정된 시각적 특징을 사용하는 모델과 비교해 볼 때, CNN과 함께 공동으로 훈련되는 순환 아키텍처가 비디오 행동 인식 성능 향상에 기여하는가?
• RQ2 엔드 투 엔드 훈련 가능한 LRCN 모델이 사전 추출된 특징 없이 이미지 픽셀에서 직접 고품질의 일관된 문장 설명을 생성할 수 있는가?
• RQ3 시각적 설명 작업에서 시간적 모델링에 LSTM을 사용하는 것이 단순한 시간 평균화나 고정 표현 방법보다 어떻게 더 우수한가?
• RQ4 대규모 데이터셋에서 훈련된 경우, LRCN이 시각적 시퀀스에서 장기적 의존성을 얼마나 잘 학습할 수 있는가?
• RQ5 LRCN 아키텍처는 시각 기반 위치 지정 및 자연어 기반 객체 검색과 같은 다중 모odal 작업에 효과적으로 적용될 수 있는가?

주요 결과

• LRCN 모델은 LSTM을 통해 시간적 동역학을 모델링함으로써 표준 비디오 행동 인식 벤치마크에서 뚜렷한 성능 향상을 보이며, 고정된 시각적 표현을 사용하는 모델들을 능가한다.
• 엔드 투 엔드 훈련을 통해 이미지 픽셀을 그대로 자연어 설명으로 매핑함으로써, 이미지 캡션 생성에서 최신 기술 수준의 성능을 입증한다.
• 비디오 설명 작업에서는 프레임 간 CNN 특징를 평균화하는 방법보다 LRCN 모델이 시간적 구조를 유지하고 설명 품질을 향상시킨다.
• LSTM의 사용은 복잡한 시간적 동역학을 포함한 작업에서 성능 향상으로 이어지는 바, 시각적 시퀀스에서 장기적 의존성 학습이 효과적으로 이루어짐을 입증한다.
• 시각적 표현과 시간적 표현을 함께 최적화함으로써, 별도로 시각적 및 순차적 구성 요소를 최적화하는 것보다 더 우수한 일반화 능력과 더 일관된 출력을 달성한다.
• 제거 실험 결과는 순환 모델링과 CNN의 통합이 순차적 추론이 필요한 작업에서 성능 향상에 필수적임을 확인한다.