[논문 리뷰] Photo-Sketching: Inferring Contour Drawings from Images

Mengtian Li, Zhe Lin외 3명|arXiv (Cornell University)|2019. 01. 02.

Advanced Vision and Imaging참고 문헌 41인용 수 7

한 줄 요약

이 논문은 인간이 애너테이션한 윤곽 스케치 데이터셋을 도입함으로써 자연 이미지에서 현실적인 윤곽선 그림을 생성하기 위한 학습 기반 방법을 제안한다. 기존의 전통적 경계 검출기와 달리, 모델은 완벽한 애너테이션 정렬을 허용하지 않으면서도 중요한 내부 경계와 가림 경계를 포착하며, BSDS500에서 미세조정을 거친 후 최신 기술 수준의 성능을 달성한다. 특히 중요한 경계 검출 분야에서 최고의 성능을 기록한다.

ABSTRACT

Edges, boundaries and contours are important subjects of study in both computer graphics and computer vision. On one hand, they are the 2D elements that convey 3D shapes, on the other hand, they are indicative of occlusion events and thus separation of objects or semantic concepts. In this paper, we aim to generate contour drawings, boundary-like drawings that capture the outline of the visual scene. Prior art often cast this problem as boundary detection. However, the set of visual cues presented in the boundary detection output are different from the ones in contour drawings, and also the artistic style is ignored. We address these issues by collecting a new dataset of contour drawings and proposing a learning-based method that resolves diversity in the annotation and, unlike boundary detectors, can work with imperfect alignment of the annotation and the actual ground truth. Our method surpasses previous methods quantitatively and qualitatively. Surprisingly, when our model fine-tunes on BSDS500, we achieve the state-of-the-art performance in salient boundary detection, suggesting contour drawing might be a scalable alternative to boundary annotation, which at the same time is easier and more interesting for annotators to draw.

연구 동기 및 목표

• 기존의 경계 검출 방법이 중요한 내부 경계와 윤곽선 그림의 예술적 스타일을 포착하지 못하는 격차를 해결한다.
• 실시간 피드백 기반의 게임 인터페이스를 활용해 인간이 쉽게 사용할 수 있는 확장 가능한 윤곽선 스케치 데이터 수집 방법을 개발한다.
• 윤곽선 생성을 넘어 중요한 경계 검출 성능 향상에 기여하는 학습 기반 모델을 구축한다.
• 윤곽선 스케치 애너테이션은 인간 레이블링에 있어 정밀한 경계 애너테이션보다 더 직관적이고 확장 가능한가를 입증한다.

제안 방법

• 지연된 정렬을 허용하는 5,000개의 인간 애너테이션된 윤곽선 스케치로 구성된 새로운 데이터셋을 수집하며, 주요 윤곽선과 예술적 불완전성을 강조한다.
• 예측된 경계점 근처에 그림을 그릴수록 보상이 주어지고, 이격될수록 벌점을 주는 실시간 피드백을 제공하는 게임 기반 데이터 수집 인터페이스를 설계한다.
• 애너테이션의 변동성에도 불구하고 인간이 그린 윤곽선과의 정렬을 장려하는 손실 함수를 사용해 입력 이미지에서 윤곽선 그림을 예측하는 딥 네트워크를 훈련한다.
• 윤곽선 표현의 일반화 능력을 활용하기 위해, BSDS500에서 미세조정을 거쳐 중요한 경계 검출 성능을 평가한다.
• 예측된 보상/벌점과의 거리 기반으로 AI 점수를 사용해 낮은 품질의 스케치를 자동으로 필터링하는 품질 제어 메커니즘을 구현한다.
• 새로운 데이터가 수집될수록 모델과 보상 포인트를 반복적으로 업데이트함으로써 루프를 닫고, 스케치 생성 시스템의 지속적인 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 윤곽선 그림은 아티스틱한 스케치의 한 형태로서, 정밀한 경계 애너테이션보다 더 확장 가능하고 직관적인 대안이 될 수 있는가?
• RQ2 윤곽선 스케치로 훈련된 모델이 표준적인 중요한 경계 검출 벤치마크 성능 향상에 얼마나 잘 일반화되는가?
• RQ3 실시간 피드백 기반의 게임 인터페이스는 대규모로 고품질이고 다양한 윤곽선 스케치 데이터를 수집하는 데 얼마나 효과적인가?
• RQ4 딥 러닝 모델은 기하학적 정확성을 유지하면서도 인간의 예술적 스타일과 불완전성을 반영한 윤곽선 그림을 생성할 수 있는가?

주요 결과

• 제안된 방법은 윤곽선 그림 생성 분야에서 정량적 지표와 정성적 평가 모두에서 이전 방법들을 능가한다.
• BSDS500에서 미세조정을 거친 후, 모델은 전용 경계 검출 모델보다도 최신 기술 수준의 성능을 기록하며 중요한 경계 검출 분야에서 최고 성능을 달성한다.
• AI 점수 시스템은 초기 데이터셋에서 90%의 불량 스케치를 성공적으로 식별했으며, 새로운 테스트 세트에서는 96%의 정확도를 보이며 효과적인 자동 품질 제어를 입증한다.
• 인간 애너테이터들은 스케치 작업이 즐겁고 몰입감 있게 느껴졌다고 보고하여, 기존의 경계 애너테이션보다 윤곽선 스케치가 더 매력적임을 시사한다.
• 모델은 객체 경계 외에도 가림 경계나 촉점 유사 특징과 같은 중요한 내부 경계까지 포함한 윤곽선을 생성하는 데 성공한다.
• 게임 기반 데이터 수집 시스템은 낮은 애너테이션 부담으로도 확장 가능한 저비용 데이터 확보를 가능하게 하며, 지속적인 모델 향상에 기여한다.