[논문 리뷰] Adaptive Masked Proxies for Few-Shot Segmentation

Mennatullah Siam, Boris N. Oreshkin외 1명|arXiv (Cornell University)|2019. 02. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 15

한 줄 요약

이 논문은 적은 수의 샘플에서도 효율적으로 작동하는 적응형 마스킹 프록시(AMP)를 제안한다. AMP는 기본 네트워크의 특징을 다중 해상도 마스킹 평균 풀링하여 최종 레이어의 가중치를 구성하고, 학습된 클래스 서명과 융합한다. AMP는 PASCAL-5i에서 5-shot 설정에서 최신 기술보다 mIoU 5.5% 향상시켰으며, 추가 트레이닝이나 보조 브랜치 없이도 지속적 학습을 가능하게 하며, 2스트림 운동-외관 네트워크와 영상 분할에서의 자기적응을 지원한다.

ABSTRACT

Deep learning has thrived by training on large-scale datasets. However, in robotics applications sample efficiency is critical. We propose a novel adaptive masked proxies method that constructs the final segmentation layer weights from few labelled samples. It utilizes multi-resolution average pooling on base embeddings masked with the label to act as a positive proxy for the new class, while fusing it with the previously learned class signatures. Our method is evaluated on PASCAL-$5^i$ dataset and outperforms the state-of-the-art in the few-shot semantic segmentation. Unlike previous methods, our approach does not require a second branch to estimate parameters or prototypes, which enables it to be used with 2-stream motion and appearance based segmentation networks. We further propose a novel setup for evaluating continual learning of object segmentation which we name incremental PASCAL (iPASCAL) where our method outperforms the baseline method. Our code is publicly available at https://github.com/MSiam/AdaptiveMaskedProxies.

연구 동기 및 목표

• 대규모 데이터셋을 확보하기 어려운 로봇 공학 및 실제 응용 분야에서 딥러닝의 샘플 비효율 문제를 해결하기 위해.
• 소수의 샘플 분할에서 프로토타입 추정을 위한 두 번째 가이던스 브랜치가 필요 없도록 하여 계산 오버헤드와 모델 복잡도를 감소시키기 위해.
• 기존에 학습된 클래스 서명을 새로운 프록시로 갱신함으로써 역전파 없이도 지속적 학습을 가능하게 하기 위해.
• 추가적인 파rameter 추정 브랜치 없이도 2스트림 운동 및 외관 네트워크를 영상 객체 분할에 적용할 수 있도록 지원하기 위해.
• 실제 스트리밍 데이터 조건에서 지속적 의미 분할을 평가하기 위한 새로운 벤치마크인 iPASCAL을 제안하기 위해.

제안 방법

• AMP는 사전 훈련된 백본에서 얻은 특징 맵에 대해 진짜 분할 레이블을 사용해 마스킹된 평균 풀링(NMAP)을 통해 클래스 프록시를 계산한다.
• 다중 해상도 임프린팅을 통해 다양한 특징 맵 스케일에서의 프록시를 집계하여 분할 정확도를 향상시킨다.
• 기존에 학습된 클래스 서명과 새로운 클래스 프록시를 학습 가능한 적응형 가중치 메커니즘을 통해 융합하며, 역전파 없이도 기존 클래스 가중치를 갱신한다.
• 적응 메커니즘은 상관 필터를 영감으로 삼은 누적 평균 업데이트 규칙을 사용하여 도착하는 지원 세트로부터 온라인 학습을 가능하게 한다.
• AMP는 모델 자체 예측에서 유도한 편의 레이블을 사용해 프록시를 무 supervision 방식으로 갱신함으로써 영상 분할에서 자기적응을 지원한다.
• 프레임워크는 가중치 인프린팅과 역전파를 번갈아 적용함으로써 추가적인 적응을 유지하며, 사전 훈련된 네트워크와의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 프로토타입 추정을 위한 두 번째 가이던스 브랜치가 필요 없이도 소수의 샘플 분할 방법이 최신 기술 성능을 달성할 수 있는가?
• RQ2 낮은 샘플 조건에서 다중 해상도 프록시 인프린팅은 분할 정확도 향상에 얼마나 효과적인가?
• RQ3 기존 클래스에 대한 치명적인 잊힘 없이, 새로운 클래스가 순차적으로 도입되는 지속적 학습 환경으로 프록시 기반 방법을 확장할 수 있는가?
• RQ4 추가 브랜치 없이 2스트림 운동-외관 네트워크에 적용했을 때 AMP는 영상 객체 분할에서 어떤 성능을 보이는가?
• RQ5 iPASCAL과 같은 새로운 벤치마크는 실제 스트리밍 데이터 조건에서 지속적 의미 분할을 효과적으로 평가할 수 있는가?

주요 결과

• AMP는 PASCAL-5i 데이터셋에서 5-shot 설정에서 최신 기술보다 mIoU 5.5% 향상시켰다.
• 프록시 적응이 없는 경우(α = 0) 1-shot 설정에서 mIoU가 28.3% 감소하여 기존 클래스에 대한 가중치 적응의 핵심적 역할을 입증했다.
• 다중 해상도 인프린팅은 성능 향상에 크게 기여하며, 이를 생략할 경우 1-shot 설정에서 명백한 mIoU 저하가 발생한다.
• DAVIS-2016 벤치마크에서 AMP는 CRF 후처리를 적용했을 때 최신 기술의 비지도 영상 객체 분할 방법을 능가했다.
• iPASCAL 지속적 학습 설정에서 AMP는 과적합 문제로 어려움을 겪는 단순 미세조정보다 뛰어난 성능을 보였다. 특히 고웨이 분류 작업에서 두드러졌다.
• AMP는 편의 레이블을 사용해 영상 분할에서 자기적응을 가능하게 하였으며, FBMS에서 MotAdapt와 유사한 성능을 달성하면서 수동 레이블링을 피했다.