[논문 리뷰] An Efficient 3D CNN for Action/Object Segmentation in Video

Rui Hou, Chen Chen외 2명|arXiv (Cornell University)|2019. 07. 21.

Human Pose and Action Recognition참고 문헌 47인용 수 23

한 줄 요약

이 논문은 3D 분리 가능 컨볼루션을 활용한 효율적인 엔드 투 엔드 3D CNN을 제안하여 비지도 비디오 객체 및 동작 분할을 수행한다. 공간-시간 특징 학습을 위해 R2plus1D 인코더와 피라미드 풀링 모듈을 활용하며, 표준 3D 컨볼루션 대비 5배 적은 파rameter와 95% 적은 FLOPs를 기록함으로써 계산 비용을 크게 감소시키면서도 정확도를 유지한다. 이는 DAVIS-16과 Something-Something-V2에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Convolutional Neural Network (CNN) based image segmentation has made great progress in recent years. However, video object segmentation remains a challenging task due to its high computational complexity. Most of the previous methods employ a two-stream CNN framework to handle spatial and motion features separately. In this paper, we propose an end-to-end encoder-decoder style 3D CNN to aggregate spatial and temporal information simultaneously for video object segmentation. To efficiently process video, we propose 3D separable convolution for the pyramid pooling module and decoder, which dramatically reduces the number of operations while maintaining the performance. Moreover, we also extend our framework to video action segmentation by adding an extra classifier to predict the action label for actors in videos. Extensive experiments on several video datasets demonstrate the superior performance of the proposed approach for action and object segmentation compared to the state-of-the-art.

연구 동기 및 목표

• 비디오 객체 분할의 높은 계산 비용 문제를 공간적 및 시간적 특징을 통합한 유일한 3D CNN 아키텍처 프레임워크를 통해 해결하고자 한다.
• 특히 장시간 비디오 클립에서 정확도를 훼손하지 않으면서 추론 복잡도를 낮추고자 한다.
• 초기화 마스크가 필요 없이 엔드 투 엔드 비지도 비디오 객체 분할을 가능하게 하고자 한다.
• 행동 인식을 위한 분류기 헤드를 추가하여 프레임워크를 비디오 동작 분할로 확장하고자 한다.
• 3D 분리 가능 컨볼루션의 효율성과 성능 유지 능력을 입증하고자 한다.

제안 방법

• 대규모 행동 인식 데이터셋에서 사전 훈련된 R2plus1D 기반 인코더를 사용하여 비디오 클립의 공간-시간 특징을 추출한다.
• 다양한 공간적 확장률을 사용하는 다중 브랜치를 갖춘 3D 피라미드 풀링 모듈을 도입하여 다중 척도의 맥락을 포착한다.
• 피라미드 풀링 및 디코더에서 3D 분리 가능 컨볼루션을 도입하여 공간적 및 시간적 연산을 분리함으로써 FLOPs를 극적으로 감소시킨다.
• 최종 특징 맵에 프레임 수준의 특징(FF)을 적용하여 국소화 정확도를 향상시킨다.
• 인코더-디코더 아키텍처를 엔드 투 엔드로 적용하여 인코딩된 특징에서 원본 해상도의 분할 마스크를 재구성한다.
• 최종 특징 맵에 분류기 헤드를 추가하여 행동 레이블 예측을 위한 행동 인식을 수행함으로써 프레임워크를 행동 분할로 확장한다.

실험 결과

연구 질문

• RQ1 두 개의 스트림 아키텍처에 의존하지 않고도 3D CNN이 비디오 객체 분할을 위해 공간-시간 표현을 효과적으로 학습할 수 있는가?
• RQ2 표준 3D 컨볼루션 및 R2plus1D 컨볼루션 대비 3D 분리 가능 컨볼루션은 비디오 분할에서 FLOPs와 정확도 측면에서 어떻게 비교되는가?
• RQ3 확장률과 브랜치 수를 고려할 때 3D 피라미드 풀링 모듈의 최적 구성은 무엇인가?
• RQ4 광학 흐름 또는 두 개의 스트림 입력이 없는 상황에서 프레임 수준의 특징을 추가하면 분할 정확도가 향상되는가?
• RQ5 동일한 아키텍처가 비디오 객체 분할 및 행동 분할 작업 모두에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 3D 분리 가능 컨볼루션은 표준 3D 컨볼루션 대비 FLOPs를 95% 감소시켜 60억으로 줄였으며, 평균 IoU는 0.3% 감소(77.4 vs. 77.6)에 그친다.
• 확장률(6, 12, 18)과 프레임 수준의 특징을 갖춘 3D 피라미드 풀링 모듈은 DAVIS-16에서 평균 IoU 78.3%를 달성하여 기준 모델 대비 5% 향상되었다.
• 확장률(6, 12, 18, 24)을 갖는 네 개의 브랜치를 사용할 경우 성능은 77.9%로 떨어지며, 이는 특징 맵 크기를 초과하는 수용장이 성능 향상에 기여하지 못함을 시사한다.
• DAVIS-16(평균 IoU 78.3%)와 Something-Something-V2(정확도 85.1%)에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법들을 모두 능가한다.
• 제거 실험을 통해 3D 분리 가능 컨볼루션은 효율성 확보에 핵심적임을 확인하였으며, GPU 메모리 사용량을 255MB에서 11MB로 감소시켰다.
• 초기화 마스크 없이도 엔드 투 엔드 비지도 비디오 객체 분할을 가능하게 하여 실제 비디오 데이터에 대해 강력한 일반화 능력을 입증하였다.