[논문 리뷰] Learning Semantic Segmentation with Weakly-Annotated Videos

Pavel Tokmakov, Karteek Alahari외 1명|arXiv (Cornell University)|2016. 07. 28.

Advanced Neural Network Applications참고 문헌 11인용 수 15

한 줄 요약

이 논문은 약한 레이블이 부여된 영상에서 운동 신호를 활용하여 픽셀 수준의 레이블이 필요 없이 최신 기술 수준(SOTA)의 세분화 성능를 달성하는 완전 컨볼루션 신경망인 M-CNN를 제안한다. 단지 150개의 약한 영상 레이블로 훈련된 M-CNN는 수천 개의 강한 레이블이 부여된 이미지로 훈련된 방법의 성능을 따라잡고, PASCAL VOC 2012와 YouTube-Objects에서 이전의 약한 지도 학습 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Fully convolutional neural networks (FCNNs) trained on a large number of images with strong pixel-level annotations have become the new state of the art for the semantic segmentation task. While there have been recent attempts to learn FCNNs from image-level weak annotations , they need additional constraints, such as the size of an object, to obtain reasonable performance. To address this issue, we present motion-CNN (M-CNN), a novel FCNN framework which incorporates motion cues and is learned from video-level weak annotations. Our learning scheme to train the network uses motion segments as soft constraints, thereby handling noisy motion information. When trained on weakly-annotated videos, our method outperforms the state-of-the-art EM-Adapt approach on the PASCAL VOC 2012 image segmentation benchmark. We also demonstrate that the performance of M-CNN learned with 150 weak video annotations is on par with state-of-the-art weakly-supervised methods trained with thousands of images. Finally, M-CNN substantially outperforms recent approaches in a related task of video co-localization on the YouTube-Objects dataset. This is an extended version of our ECCV 2016 paper.

연구 동기 및 목표

• 약한 지도 학습 기반 세분화 방법에서 물체 크기와 같은 추가 제약 조건이 필요로 하는 한계를 해결하기 위해.
• 영상 수준의 약한 레이블에서 유도된 운동 신호가 픽셀 수준의 지도 학습 없이도 세분화에 효과적으로 기여할 수 있는지 탐색하기 위해.
• 오직 영상 수준의 레이블만을 사용하여 높은 성능을 달성하는 프레임워크를 개발하기 위해.
• 비용이 많이 드는 픽셀 수준의 레이블에 의존도를 줄이며, 이미지 수준의 세분화 및 영상 공현도 태스크에서 성능을 향상시키기 위해.

제안 방법

• M-CNN는 영상 수준의 약한 레이블을 사용하여 엔드 투 엔드로 훈련되는 완전 컨볼루션 신경망이다.
• 영상에서 추출한 운동 세그먼트는 훈련 중 소프트 제약 조건으로 사용되어 네트워크가 정확한 공간적 국소화를 향해 유도된다.
• 프레임워크는 영상 내 시간적 일관성을 활용하여 타당한 물체 경계 및 의미적 레이아웃을 추론한다.
• 운동 인식을 고려한 훈련 전략을 단계적으로 적용하여 예측을 점진적으로 정밀화한다.
• 운동 세그먼트 간 활성화 일관성을 유도하는 손실 함수를 도입하여 신뢰할 수 없는 운동 신호에서 발생하는 노이즈를 줄인다.
• 경계 상자나 픽셀 수준의 마스크가 필요 없는 약한 지도 학습 목적 함수를 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 약한 레이블이 부여된 영상에서 유도된 운동 신호가 픽셀 수준의 레이블 없이도 세분화 성능 향상에 기여할 수 있는가?
• RQ2 M-CNN는 기존의 약한 지도 학습 방법과 비교해 정확도와 데이터 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 M-CNN는 오직 영상 수준의 레이블만을 사용하여 관련 작업인 영상 공현도에 일반화 가능한가?
• RQ4 150개의 약한 영상 레이블로 훈련된 모델가 수천 개의 강한 레이블이 부여된 이미지로 훈련된 모델의 성능을 어느 정도 따라잡을 수 있는가?

주요 결과

• 약한 레이블이 부여된 영상로 훈련된 M-CNN는 PASCAL VOC 2012 이미지 세분화 벤치마크에서 EM-Adapt 방법을 능가한다.
• 단지 150개의 약한 영상 레이블로 훈련된 M-CNN는 수천 개의 이미지로 훈련된 최신 기술 수준의 약한 지도 학습 방법과 비교해 유사한 성능를 달성한다.
• M-CNN는 YouTube-Objects 데이터셋에서 영상 공현도 작업에 대해 최근의 접근 방식보다 뚜렷이 뛰어난 성능를 보였다.
• 운동 세그먼트를 소프트 제약 조건으로 사용함으로써 운동 정보의 노이즈가 효과적으로 감소되어 국소화 정확도가 향상되었다.
• 모델는 이미지 및 영상 수준의 약한 지도 학습 작업 전반에 걸쳐 강력한 일반화 능력을 보였다.