[논문 리뷰] Getting to 99% Accuracy in Interactive Segmentation

Marco Forte, Brian Price외 3명|arXiv (Cornell University)|2020. 03. 17.

Advanced Neural Network Applications참고 문헌 38인용 수 28

한 줄 요약

이 논문은 사용자 상호작용을 순차적 편집으로 모델링하고 이중 스트림(이미지 및 상호작용) U-Net과 가이드 필터링을 활용하여, 복잡한 경계에 중점을 둔 고품질의 합성 데이터를 통해, 20회의 클릭으로 GrabCut 데이터셋에서 99% mIoU 정확도를 달성하는 새로운 딥러닝 아키텍처와 학습 전략을 제안한다.

ABSTRACT

Interactive object cutout tools are the cornerstone of the image editing workflow. Recent deep-learning based interactive segmentation algorithms have made significant progress in handling complex images and rough binary selections can typically be obtained with just a few clicks. Yet, deep learning techniques tend to plateau once this rough selection has been reached. In this work, we interpret this plateau as the inability of current algorithms to sufficiently leverage each user interaction and also as the limitations of current training/testing datasets. We propose a novel interactive architecture and a novel training scheme that are both tailored to better exploit the user workflow. We also show that significant improvements can be further gained by introducing a synthetic training dataset that is specifically designed for complex object boundaries. Comprehensive experiments support our approach, and our network achieves state of the art performance.

연구 동기 및 목표

• 딥러닝 기반 상호작용 분할 도구의 성능 정체 문제(90–95% mIoU 사이에서 정체)를 해결하여 전문 포토 에디팅 워크플로우에서의 활용 가능성을 높이기 위해.
• 기존 모델이 초기 rough 선택 이후 국소적 정밀 조정을 효과적으로 활용하지 못하는 한계를 극복하기 위해.
• 정적 클릭 세트가 아닌 보정 클릭의 순차적 프로세스로 상호작용 편집 과정을 모델링하여 99%를 초월하는 정확도를 달성하기 위해.
• 특히 복잡한 경계에 중점을 둔 합성 트레이닝 데이터가 실제 월드 벤치마크에서의 성능 향상에 상당한 기여를 할 수 있음을 입증하기 위해.
• 세부 정보를 유지하고 아티스트가 정밀하고 예측 가능한 예측을 할 수 있도록 하는 전체 해상도 네트워크 아키텍처를 개발하기 위해.

제안 방법

• 이미지 특징과 사용자 상호작용 신호(클릭)를 별도의 인코딩 스트림으로 갖는 단일의 엔드 투 엔드 트레이너블 U-Net 기반 아키텍처를 제안하여 클릭 정보의 보다 효과적인 전파를 가능하게 한다.
• 디코더 이후 가이드 필터 레이어를 통합하여 최종 마스크를 정밀하게 보정하고 부드럽고 고품질의 투명도 예측을 생성한다.
• 실제 아티스트 워크플로우를 시뮬레이션하기 위해 클릭을 한 번씩 추가하는 순차적 학습 제도를 구현하여, 네트워크가 보정 편집으로부터 학습할 수 있도록 한다.
• 복잡한 객체 경계에 대해 고품질 정확한 지도 데이터를 갖춘 합성 데이터셋을 설계하고 활용하여 일반화 능력과 세부 정보 복구 능력을 향상시킨다.
• 두 단계 학습 방식을 사용한다: 먼저 합성 데이터에서 경계 세부 정보를 학습하고, 이후 실제 데이터셋에서 미세 조정하여 실제 이미지 분포에 적응시킨다.
• 실제 벤치마크(GrabCut, Berkeley, SBD)와 합성 데이터의 조합을 통해 다양한 이미지 유형에서의 강인성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 현실적인 수의 사용자 클릭으로 상호작용 분할에서 99% mIoU 정확도를 달성할 수 있는가?
• RQ2 정적 클릭 세트가 아닌 보정 클릭의 순차적 프로세스로 사용자 상호작용을 모델링할 경우, 더 높은 성능과 더 예측 가능한 결과를 얻을 수 있는가?
• RQ3 특히 복잡한 경계에 중점을 둔 합성 데이터셋이 실제 월드 벤치마크를 초월해 상호작용 분할 모델의 정확도를 향상시킬 수 있는가?
• RQ4 저해상도 특징 추출에 비해 전체 해상도 처리와 가이드 필터링이 세부 정보 복구 능력 향상에 얼마나 기여하는가?
• RQ5 일괄적인 유일한 네트워크 아키텍처의 성능은 거칠게 분할한 후 정밀 조정을 분리하는 두 단계 아키텍처와 비교해 어떻게 다른가?

주요 결과

• 제안된 방법은 GrabCut 데이터셋의 62% 이미지에서 20회의 클릭 이내로 99% mIoU 정확도를 달성하여 이전 최고 성능 모델들을 크게 능가한다.
• 합성 데이터셋으로 학습하고 실제 데이터로 미세 조정한 후, GrabCut 이미지의 74%에서 20회의 클릭 이내로 99% mIoU 정확도를 달성하여 합성 데이터가 세부 정보에 효과적임을 입증한다.
• 순차적 클릭 학습 제도는 국소적 보정에 대한 반응 능력을 향상시켜, 클릭 수 1에서 20까지 전 구간에서 mIoU가 향상됨을 보였다.
• 이중 스트림 아키텍처(이미지 및 상호작용 스트림)는 사용자 피드백의 보다 정밀한 전파를 가능하게 하여 오류 전파를 줄이고 국소 정밀 조정 능력을 향상시켰다.
• 합성 데이터셋은 SBD 및 Berkeley 벤치마크에서 성능을 크게 향상시켰으며, 미세 조정과 결합했을 때 mIoU가 최대 0.058 포인트 향상되었다.
• 모델의 예측은 더 예측 가능하고 반복적인 정밀 조정이 더 쉬워져 이전 방법에 비해 전문 포토 에디팅 워크플로우에서 더 유용하게 사용될 수 있다.