[논문 리뷰] Learning to Annotate Part Segmentation with Gradient Matching

Yang Yu, Xiaotian Cheng외 2명|arXiv (Cornell University)|2022. 11. 06.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 GAN으로 생성된 이미지에 대해 약한 사전 지도 학습을 가능하게 하면서 수동 레이블링 없이 고품질의 약한 지도 학습을 가능하게 하는 기울기 매칭 기반의 어노테이터 학습 방법을 제안한다. 어노테이터 학습을 메타학습 문제로 포지셔닝하고 이를 기울기 매칭 문제로 환원함으로써, 최소한의 레이블 데이터로도 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다. 특히, 소량의 레이블 데이터가 존재하는 상황에서 뛰어난 성능을 보인다.

ABSTRACT

The success of state-of-the-art deep neural networks heavily relies on the presence of large-scale labelled datasets, which are extremely expensive and time-consuming to annotate. This paper focuses on tackling semi-supervised part segmentation tasks by generating high-quality images with a pre-trained GAN and labelling the generated images with an automatic annotator. In particular, we formulate the annotator learning as a learning-to-learn problem. Given a pre-trained GAN, the annotator learns to label object parts in a set of randomly generated images such that a part segmentation model trained on these synthetic images with their predicted labels obtains low segmentation error on a small validation set of manually labelled images. We further reduce this nested-loop optimization problem to a simple gradient matching problem and efficiently solve it with an iterative algorithm. We show that our method can learn annotators from a broad range of labelled images including real images, generated images, and even analytically rendered images. Our method is evaluated with semi-supervised part segmentation tasks and significantly outperforms other semi-supervised competitors when the amount of labelled examples is extremely limited.

연구 동기 및 목표

• 부위 분할 작업에서 픽셀 단위의 수동 레이블링 비용을 줄이기 위해 GAN으로 생성된 이미지를 활용해 약한 지도 학습을 제공하는 것.
• 메타학습 프레임워크를 사용해 GAN으로 생성된 이미지에 대한 수동 레이블링이 필요 없이 자동 어노테이터를 훈련시키는 것.
• 실제 이미지, 합성 이미지, 그리고 도메인 외부 이미지 등 다양한 데이터 소스를 활용해 어노테이터의 일반화 능력과 강인성을 향상시키는 것.
• 어노테이터 학습을 기울기 매칭 문제로 포지셔닝하여 최소한의 레이블 데이터로도 높은 분할 성능을 달성하는 것.

제안 방법

• 어노테이터 학습을 학습-하는-학습 문제로 포지셔닝: GAN으로 생성된 이미지에 대해 어노테이터가 레이블을 생성하도록 훈련시키되, 이 레이블로 훈련된 분할 모델이 소량의 실제 검증 이미지에서 낮은 오차를 기록하도록 유도한다.
• 내부 루프(분할 모델 훈련)와 외부 루프(어노테이터 업데이트)로 구성된 이중 루프 최적화를 간단한 기울기 매칭 문제로 환원함으로써, 비용이 많이 드는 엔드 투 엔드 메타학습을 피한다.
• 기울기 매칭 목표를 효율적으로 해결하기 위해 반복 알고리즘을 사용하여 어노테이터의 안정적이고 확장 가능한 훈련을 가능하게 한다.
• 실제 이미지, GAN으로 생성된 이미지, 심지어 분석적으로 렌더링된 이미지까지 다양한 레이블 데이터를 활용해 어노테이터를 훈련시키며, 합성 데이터에 대한 수동 레이블링이 필요 없도록 한다.
• 사전 훈련된 무조건적 GAN을 활용해 다양한 이미지를 생성하고, 어노테이터의 입력으로 사용할 잠재 특징을 추출한다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 이미지에 대해 수동 레이블링이 필요 없이 고성능의 부위 분할 어노테이터를 훈련시킬 수 있는가?
• RQ2 기울기 매칭이 약한 지도 학습 환경에서 엔드 투 엔드 메타학습을 효과적으로 대체할 수 있는가?
• RQ3 제안된 방법이 실제 이미지, 합성 이미지, 도메인 외부 이미지 등 다양한 데이터 소스에 대해 일반화되는가?
• RQ4 현재의 준지도 학습 및 약한 지도 학습 방법들과 비교해 소량의 레이블 데이터가 존재하는 상황에서의 성능은 어떠한가?

주요 결과

• 제안된 방법은 준지도 학습 기반의 부위 분할에서 최신 기술 수준의 성능을 달성하며, 특히 레이블 예제 수가 극히 제한적인 상황에서 다른 경쟁 방법들을 크게 앞서나간다.
• CelebA 데이터셋에서 30개의 레이블만으로도 78.07%의 FG-mIoU 성능을 기록했으며, 이는 16개의 합성 레이블을 사용한 DatasetGAN의 70.01%를 뛰어넘는 성능이다.
• CelebA-train에서의 실제 이미지를 레이블 데이터로 사용할 경우 성능이 79.25% mIoU로 향상되었으며, 이는 실제 데이터가 학습 신호로서 합성 데이터보다 열등하지 않음을 보여준다.
• 1,500개의 레이블을 사용할 경우, CelebA에서 77.90%의 FG-mIoU 성능을 기록했으며, 동일한 수의 레이블을 사용한 지도 학습보다 뛰어난 성능을 보였다.
• 대규모 설정(예: 29,000개의 레이블)에서는 성능이 포화 상태에 도달하거나 감소하는 경향을 보이며, 이는 특히 복잡한 데이터셋에서 GAN의 품질에 의해 결정되는 성능 한계를 시사한다.