[논문 리뷰] Fully Convolutional Multi-Class Multiple Instance Learning

Deepak Pathak, Evan Shelhamer외 2명|arXiv (Cornell University)|2014. 12. 22.

Image Retrieval and Classification Techniques참고 문헌 10인용 수 267

한 줄 요약

이 논문은 이미지 수준 레이블만을 사용하여 약한 감독(semantic) 분할을 위한 완전 컨volution 신경망 다중 클래스 다중 예제 학습(MIL) 프레임워크를 제안한다. 각 클래스당 최고 점수를 받는 픽셀을 선택하는 다중 클래스 MIL 손실을 통해 특징 표현과 픽셀 수준 분류를 동시에 최적화함으로써, PASCAL VOC 2012 테스트 세트에서 25.66%의 평균 교차율(mIoU)을 달성하였으며, 이는 기준 모델 대비 96%의 상대적 향상이다.

ABSTRACT

Multiple instance learning (MIL) can reduce the need for costly annotation in tasks such as semantic segmentation by weakening the required degree of supervision. We propose a novel MIL formulation of multi-class semantic segmentation learning by a fully convolutional network. In this setting, we seek to learn a semantic segmentation model from just weak image-level labels. The model is trained end-to-end to jointly optimize the representation while disambiguating the pixel-image label assignment. Fully convolutional training accepts inputs of any size, does not need object proposal pre-processing, and offers a pixelwise loss map for selecting latent instances. Our multi-class MIL loss exploits the further supervision given by images with multiple labels. We evaluate this approach through preliminary experiments on the PASCAL VOC segmentation challenge.

연구 동기 및 목표

• 픽셀 수준의 의미 분할에 필요한 높은 레이블링 비용을 줄이기 위해 이미지 수준 레이블만을 활용하고자 한다.
• 약한 감독 학습에서 객체 제안 또는 사전 정의된 인스턴스 가설이 필요 없도록 하기 위해이다.
• 완전 컨volution 신경망에서 다중 클래스 MIL 손실을 통해 깊이 있는 특징 표현과 픽셀 수준 분류기를 동시에 학습하고자 한다.
• 다중 레이블 이미지에서의 클래스 간 경쟁을 활용하여 분할 정확도를 향상시키고자 한다.

제안 방법

• 모델은 16층 VGG 아키텍처를 기반으로 한 완전 컨볼루션 네트워크(FCN)를 사용하며, ImageNet 사전 훈련 가중치에서 엔드 투 엔드로 미세 조정된다.
• 다중 클래스 MIL 손실은 각 이미지의 출력 히트맵에서 각 클래스(배경 포함)당 가장 높은 점수를 받는 픽셀을 선택하여 정의된다.
• 손실은 이 선택된 점들에 대해서만 계산되며, 이는 백프로파게이션을 가능하게 하면서도 배경 예측에 대한 편향을 피하는 데 기여한다.
• 배경 클래스는 음성 인스턴스로 작용하여 양성 클래스와 경쟁함으로써 상호 클래스 혼동을 통해 정밀한 국소화를 향상시킨다.
• 추론 과정에서는 군집된 예측을 이중 선형 보간을 통해 원본 이미지 해상도로 확장하여 픽셀 수준 분할을 수행한다.
• 이 프레임워크는 인스턴스 가설 생성을 피하고, 왜곡 없이 다양한 입력 크기를 지원하며, 제안 네트워크 없이도 작동한다.

실험 결과

연구 질문

• RQ1 약한 감독 하에서 완전 컨볼루션 네트워크의 엔드 투 엔드 훈련이 표현 학습과 픽셀 수준 분류를 동시에 최적화할 수 있는가?
• RQ2 다중 클래스 MIL 손실이 단일 클래스 또는 이진 MIL에 비해 약한 감독 분할에서 국소화 정확도를 어떻게 향상시키는가?
• RQ3 다중 레이블 이미지에서의 클래스 간 경쟁은 잠재된 객체 인스턴스의 해석을 어느 정도 향상시킬 수 있는가?
• RQ4 강한 감독이나 분류기 초기화 없이도 모델이 열악한 해법(예: 모든 배경 예측)을 피할 수 있는가?
• RQ5 경계 상자 레이블이 필요 없이도 제안된 MIL 손실이 정보성 있는 학습 인스턴스를 얼마나 효과적으로 선택하는가?

주요 결과

• MIL-FCN는 PASCAL VOC 2012 테스트 세트에서 25.66%의 평균 교차율(mIoU)을 달성하였으며, 분류기 초기화를 사용한 기준 모델 대비 96%의 상대적 향상이다.
• 학습률 0.0001, 모멘타임 0.9, 가중치 감쇠 0.0005로 설정하여 10,000 이터레이션 이내에 수렴하였으며, 이는 빠르고 안정적인 훈련을 의미한다.
• 공통 클래스에 대해 ImageNet 분류기 가중치에서 초기화함으로써 열악한 해법을 방지하였고, 검증 세트에서 mIoU가 3.52%에서 13.11%로 향상되었다.
• 모델은 객체 제안, 데이터 증강, 인스턴스 수준 레이블 없이도 강력한 성능을 달성하였으며, 오직 이미지 수준 레이블에 의존하고 있다.
• 손실 계산을 위해 군집된 예측 포인트를 사용하고, 이후 보간을 통해 해상도를 복원함으로써 효율적이고 확장 가능한 훈련 및 추론이 가능했다.
• 그림 1의 정성적 결과는 모델이 지도 없는 경계 상자 조건에서도 일관되고 공간적으로 유의미한 분할 결과를 생성함을 보여준다.