[논문 리뷰] Iteratively Trained Interactive Segmentation

Sabarinath Mahadevan, Paul Voigtlaender외 1명|arXiv (Cornell University)|2018. 05. 11.

Advanced Neural Network Applications참고 문헌 26인용 수 26

한 줄 요약

이 논문은 클릭 기반 이미지 세그멘테이션을 위한 새로운 딥러닝 프레임워크인 반복적으로 훈련하는 상호작용 세그멘테이션(Iteratively Trained Interactive Segmentation, ITIS)을 제안한다. 이 프레임워크는 훈련 중 사용자 수정 행동을 시뮬레이션하기 위해 반복적인 훈련 전략을 사용한다. 네트워크 예측 오차를 바탕으로 클릭을 생성함으로써, 최신 기법들보다 높은 정확도를 달성하며, 초기부터의 상호작용 세그멘테이션과 자동으로 생성된 마스크의 보정 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Deep learning requires large amounts of training data to be effective. For the task of object segmentation, manually labeling data is very expensive, and hence interactive methods are needed. Following recent approaches, we develop an interactive object segmentation system which uses user input in the form of clicks as the input to a convolutional network. While previous methods use heuristic click sampling strategies to emulate user clicks during training, we propose a new iterative training strategy. During training, we iteratively add clicks based on the errors of the currently predicted segmentation. We show that our iterative training strategy together with additional improvements to the network architecture results in improved results over the state-of-the-art.

연구 동기 및 목표

• 이미지 세그멘테이션을 위한 딥러닝 모델 훈련의 높은 애너테이션 비용 문제를 해결하기 위해 상호작용적 클릭 기반 레이블링을 가능하게 하기 위해.
• 상호작용 세그멘테이션에서 훈련과 추론 간 도메인 갭을 해소하기 위해 훈련 및 추론 단계에서 클릭 샘플링 전략을 일치시키기 위해.
• 히우리스틱 샘플링 대신 오차 기반 반복적 클릭 생성을 사용하여 네트워크를 훈련시킴으로써 세그멘테이션 성능을 향상시키기 위해.
• 테스트 시 다양한 클릭 샘플링 전략 하에서 제안된 방법의 강인성 평가하기 위해.
• 네트워크 성능 향상을 위한 다양한 입력 표현 방식(클릭, 마스크)을 체계적으로 비교하기 위해.

제안 방법

• 이 방법은 이미지와 사용자 클릭을 입력으로 받아 세그멘테이션 마스크를 예측하는 DeepLabV3+ 백본 네트워크를 사용한다.
• 훈련 중에 모델의 예측 오차를 기반으로 클릭을 반복적으로 추가하여 사용자가 단계별로 실수를 수정하는 것과 유사하게 시뮬레이션한다.
• 클릭은 유클리드 거리 맵으로 표현되며, 입력 이미지와 연결되어 네트워크를 안내한다.
• 마스크 채널을 사용하여 보정 작업을 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 이전에 존재하는 세그멘테이션 마스크를 보정할 때는 선택적 마스크 입력 채널을 사용한다.
• 반복적 훈련 절차는 훈련 및 추론 모두에 적용되어 훈련과 테스트 시 행동 간 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 사용자 오류 수정을 모방하는 반복적 훈련 전략이 상호작용 세그멘테이션 성능 향상에 기여하는가?
• RQ2 훈련 중 오차 기반 클릭 생성을 사용할 경우 히우리스틱 클릭 샘플링보다 더 나은 일반화 성능를 달성하는가?
• RQ3 제안된 방법은 초기부터의 상호작용 세그멘테이션과 마스크 보정 모두에서 최신 기법들과 비교해 어떻게 성능가능한가?
• RQ4 성능 향상은 평가 기준에 과적합된 결과인가, 아니면 클릭 샘플링 전략의 변동에 강인한가?
• RQ5 다양한 입력 표현 방식(예: 거리 맵, 마스크 채널)이 세그멘테이션 정확도에 어떤 영향을 미치는가?

주요 결과

• 반복적 훈련 전략은 mIoU를 크게 향상시키며, PASCAL VOC에서 20개 클릭 시 6.5%의 mIoU 향상을 기록하여 이전 기법들을 능가한다.
• OSVOS 영상 객체 세그멘테이션 벤치마크에서 ITIS - VOS는 10개 클릭에서 82.8%의 mIoU를 달성하여 이전 최고 기록인 82.2%를 초월한다.
• KITTI 차량 세그멘테이션에서 ITIS는 Polygon-RNN조차도 능가하며, Polygon-RNN이 지도형 경계상자와 더 정밀한 클릭을 요구하는 바에도 불구하고 성능을 높였다.
• 성능 향상은 테스트 시 클릭 샘플링 전략의 변동에 강인하여 과적합의 결과가 아님을 시사한다.
• 절단 실험 결과 반복적 훈련이 가장 큰 성능 향상을 제공하며, PASCAL VOC에서 비반복 기반 베이스라인 대비 3.8%의 mIoU 향상을 기록했다.
• 마스크 입력 채널의 포함은 특히 낮은 클릭 수(예: 4개 클릭 시 67.0% mIoU)에서 보정 작업의 성능을 크게 향상시켰다.