[논문 리뷰] Spatio-temporal video autoencoder with differentiable memory

Viorica Pătrăucean, Ankur Handa외 1명|arXiv (Cornell University)|2015. 11. 19.

Advanced Vision and Imaging참고 문헌 31인용 수 235

한 줄 요약

이 논문은 운동 표현을 비지도 학습으로 학습하기 위해 컨volutional LSTM 셀을 사용한 미분 가능한 시각적 단기 기억을 갖춘 시공간 영상 오토인코더를 제안한다. 광학 흐름 예측기와 이미지 샘플러를 피드백 루프로 통합함으로써, 모델은 향후 프레임을 종단 간(end-to-end)으로 재구성하며, 최소한의 감독 하에 약한 감독을 받는 영상 의미 분할에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We describe a new spatio-temporal video autoencoder, based on a classic spatial image autoencoder and a novel nested temporal autoencoder. The temporal encoder is represented by a differentiable visual memory composed of convolutional long short-term memory (LSTM) cells that integrate changes over time. Here we target motion changes and use as temporal decoder a robust optical flow prediction module together with an image sampler serving as built-in feedback loop. The architecture is end-to-end differentiable. At each time step, the system receives as input a video frame, predicts the optical flow based on the current observation and the LSTM memory state as a dense transformation map, and applies it to the current frame to generate the next frame. By minimising the reconstruction error between the predicted next frame and the corresponding ground truth next frame, we train the whole system to extract features useful for motion estimation without any supervision effort. We present one direct application of the proposed framework in weakly-supervised semantic segmentation of videos through label propagation using optical flow.

연구 동기 및 목표

• 딥 뷰 영상 모델을 훈련하기 위한 레이블이 부족한 영상 데이터 문제를 해결하기 위해 운동 표현의 비지도 학습을 가능하게 한다.
• 표준 컨볼루션 네트워크가 영상 시퀀스의 시간적 부족함을 활용하는 데에 한계가 있음을 극복한다.
• 운동 역학을 미분 가능한 방식으로 모델링하기 위해 컨볼루션 LSTM을 사용한 생물학적으로 영감을 얻은 시각적 단기 기억 모듈을 개발한다.
• 감독 없이 운동 추정과 재구성 기능을 동시에 학습하는 영상 오토인코더의 종단 간 학습을 가능하게 한다.
• 레이블 전파를 통해 학습된 운동 특징의 유용성을 약한 감독을 받는 의미 분할에서 입증한다.

제안 방법

• 표준 컨볼루션 이미지 오토인코더와 컨볼루션 LSTM 셀을 시각적 단기 기억으로 사용한 내재된 시간 오토인코더를 조합한 시공간 영상 오토인코더 아키텍처를 제안한다.
• 시각적 변화를 시간에 걸쳐 통합함으로써 컨볼루션 LSTM을 사용해 시간적 맥락을 인코딩하고, 운동 역학을 미분 가능한 방식으로 모델링한다.
• 강건한 광학 흐름 예측 모듈과 이미지 샘플러를 기반으로 한 시간 디코더를 구현하여 예측된 흐름을 현재 프레임에 적용해 다음 프레임을 생성한다.
• 예측된 다음 프레임이 진짜 값과 비교되는 내장 피드백 루프를 도입함으로써 시간에 따른 역전파가 가능한 종단 간 학습을 가능하게 한다.
• 예측된 프레임과 진짜 프레임 간의 재구성 오차를 최소화함으로써 전체 시스템을 훈련시키고, 운동을 위한 비지도 특징 학습을 가능하게 한다.
• 레이어 흐름을 기하학적 사전 지식으로 사용하여 레이블을 광학 흐름을 통해 전파함으로써, 아키텍처를 약한 감독을 받는 의미 분할에 적응시킨다.

실험 결과

연구 질문

• RQ1 컨볼루션 LSTM 기반의 미분 가능한 시각적 단기 기억 모듈이 영상에서 비지도 운동 표현 학습을 향상시킬 수 있는가?
• RQ2 예측된 프레임과 진짜 프레임 간 피드백 루프를 갖춘 종단 간 학습 기반의 운동 특징 학습 방식은 얼마나 효과적인가?
• RQ3 학습된 운동 특징이 약한 감독을 받는 영상 의미 분할 향상에 어느 정도 기여하는가?
• RQ4 광학 흐름 추정과 프레임 예측을 통합함으로써 기존 모델 대비 분할 정확도 향상이 이루어지는가?
• RQ5 성능 및 파rameter 효율성 측면에서 표준 오토인코더 및 완전 연결 LSTM 기반 모델 대비 아키텍처는 어떻게 비교되는가?

주요 결과

• 컨볼루션 LSTM 메모리가 탑재된 제안된 시공간 오토인코더는 더 적은 파라미터로 표준 오토인코더 및 완전 연결 LSTM 베이스라인보다 운동 표현 학습에서 뛰어난 성능을 보였다.
• 프레임 수준의 레이블만을 사용하여 Camvid 데이터셋에서 전역 평균 분할 정확도 76.9%를 달성했으며, 베이스라인인 SegNet의 75.3%보다 뚜렷한 향상을 보였다.
• 광학 흐름 제약 조건을 통합한 SegNet-flow 모델은 특히 큰 객체 클래스에서 분할 결과의 스무딩 효과를 크게 향상시켰다.
• 비록 성능 향상이 있었지만, 작은 구조나 얇은 구조에서는 성능 저하가 발생했으며, 주로 훈련 세트 크기의 제한과 다운샘플된 흐름 추정으로 인한 영향을 받았다.
• 피드백 루프 덕분에 효과적인 종단 간 학습이 가능했고, 메모리 모듈 설계 및 해상도에 대한 실험도 쉽게 수행할 수 있었다.
• 아키텍처는 시각적 환상과 모호한 운동 인식을 모델링할 잠재력을 보이며, 기억 역학에서 생물학적 타당성을 시사한다.