[논문 리뷰] Deep Manifold Traversal: Changing Labels with Convolutional Features

Jacob R. Gardner, Paul Upchurch외 5명|arXiv (Cornell University)|2015. 11. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 63

한 줄 요약

이 논문은 깊이 학습된 컨volution 신경망 특징과 커널 최대 평균 차이(MMD)를 사용하여 자연 이미지의 다양체를 탐색함으로써 의미적으로 이미지 레이블을 변경하는 일반 목적의 방법인 Deep Manifold Traversal를 제안한다. 이 방법은 수작업 레이블링이나 작업 전용 설계 없이도 나이 들어가는 얼굴, 계절 변화, 일광에서 야경으로의 전환과 같은 다양한 작업에 대해 데이터 기반의 비지도 학습 기반 이미지 변환을 가능하게 한다.

ABSTRACT

Many tasks in computer vision can be cast as a "label changing" problem, where the goal is to make a semantic change to the appearance of an image or some subject in an image in order to alter the class membership. Although successful task-specific methods have been developed for some label changing applications, to date no general purpose method exists. Motivated by this we propose deep manifold traversal, a method that addresses the problem in its most general form: it first approximates the manifold of natural images then morphs a test image along a traversal path away from a source class and towards a target class while staying near the manifold throughout. The resulting algorithm is surprisingly effective and versatile. It is completely data driven, requiring only an example set of images from the desired source and target domains. We demonstrate deep manifold traversal on highly diverse label changing tasks: changing an individual's appearance (age and hair color), changing the season of an outdoor image, and transforming a city skyline towards nighttime.

연구 동기 및 목표

• 컴퓨터 비전에서 작업 전용 사전 지식이나 레이블링에 의존하지 않는 일반 목적의 레이블 변경 작업을 위한 방법의 부족을 해결하기 위해.
• 자연 이미지의 저차원 다양체에 제약을 두어 의미적으로 일관된 이미지 변환을 가능하게 하기 위해.
• 다양한 응용 분야에 적합한 확장 가능한 데이터 기반 접근법을 개발하기 위해. 이는 레이블이 부여된 원본 및 대상 이미지 세트만 필요하다.
• 얼굴의 노화, 계절 변화, 도시 풍경의 전환과 같이 매우 다른 작업들 사이에서의 유연성을 입증하기 위해.
• 이 방법이 컴퓨터 비전에서 데이터 증강 및 능동 학습의 기초 또는 사전 처리 도구로서의 잠재력을 탐색하기 위해.

제안 방법

• 이 방법은 사전 훈련된 컨volution 신경망(예: VGG)을 사용하여 원본, 대상 및 테스트 이미지를 깊이 특징 공간으로 매핑한다.
• 깊이 특징 공간에서 원본 및 대상 이미지 특징 간의 분포 차이를 추정하기 위해 커널 최대 평균 차이(MMD)를 사용한다.
• 테스트 이미지를 원본 분포에서 멀리 떨어지게 하고 대상 분포 쪽으로 이동시키는 특징 공간 내의 탐색 경로를 계산한다. 이 경로는 다양체에 가까이 있도록 유지된다.
• 경로는 특징 공간에서 선형이며, MMD 지도를 통해 다양체 근처에 머물도록 제약을 둔다. 이는 현실적인 중간 이미지를 보장한다.
• 경로 상의 각 점은 깊이 특징에서의 역재구성 기법을 사용하여 픽셀 공간으로 다시 매핑된다.
• 이 방법은 공간 및 시간 모두에서 선형이므로 대규모 이미지(예: 900×600 픽셀)의 효율적 처리가 가능하며, 메모리 제약 이외에는 제한이 없다.

실험 결과

연구 질문

• RQ1 일관된 사전 지식이나 레이블링 없이도 단일 일반 목적의 방법이 컴퓨터 비전에서 다양한 레이블 변경 작업을 수행할 수 있는가?
• RQ2 깊이 특징 공간이 자연 이미지 다양체를 충분히 선형화하여 의미 있는 이미지 탐색을 통해 레이블 변경을 가능하게 할 수 있는가?
• RQ3 MMD 지도 탐색이 의미 변화를 이동시키는 동안 이미지의 현실성을 얼마나 잘 유지하는가?
• RQ4 이 방법이 고해상도 이미지와 복잡한 시각적 변환에 얼마나 잘 스케일링되는가?
• RQ5 이 접근법이 지도 학습 비전 작업에서의 데이터 증강을 위한 실용적인 기초 또는 사전 처리 도구로 활용될 수 있는가?

주요 결과

• 이 방법은 얼굴의 노화, 외부 풍경의 계절 변화, 도시 풍경의 일광에서 야경으로의 전환과 같은 다양한 도메인에서 레이블 변경 작업을 성공적으로 수행한다.
• 900×600 픽셀 이미지에 대해 다양체 탐색은 132분, 재구성은 43분이 소요되어 전형적인 생성 모델의 한계를 초월한 확장성을 입증한다.
• 대응 관계, 붓기, 수작업 레이블링 지침 없이도 레이블이 부여된 원본 및 대상 이미지 세트만으로도 현실적인 결과를 달성한다.
• LFW 데이터셋(250×250)에서 원본 2000장, 대상 2000장의 이미지를 사용할 경우 탐색에 18분이 소요되며, 이미지 크기와 선형 시간 복잡도를 보여준다.
• 야경 전환 시 하늘이 파란색을 유지하는 것으로 나타나, 하늘과 같은 배경 요소가 고수준 특징에 잘 표현되지 않는 것으로 보이며, 이는 객체 인식 훈련 목표 때문일 수 있다.
• 다양한 레이블 변경 작업에서 일반 목적의 이미지 모폴로지 기반 방법보다 뛰어난 성능을 보이며, 강력한 일반화 능력과 효과성을 입증한다.