[논문 리뷰] Max-Margin Invariant Features from Transformed Unlabeled Data

Dipan K. Pal, Ashwin A. Kannan외 2명|arXiv (Cornell University)|2017. 10. 24.

Face recognition and analysis참고 문헌 21인용 수 4

한 줄 요약

이 논문은 레이블이 부여된 증강 데이터가 필요 없이, 레이블이 없는 변환된 데이터만을 사용하여 노이즈 변환에 대해 불변 표현을 학습하기 위한 새로운 방법인 Max-Margin Invariant Features (MMIF)를 제안한다. 재생 커널 힐버트 공간에서 군 평균을 통한 이론적으로 보장된 불변 커널을 구성함으로써, MMIF는 얼굴 인식 작업에서 최신 기준 성능을 달성하며, 대규모 반-합성적 데이터셋과 LFW에 대한 새로운 프로토콜에서 강력한 1-shot 일반화 성능을 입증한다.

ABSTRACT

The study of representations invariant to common transformations of the data is important to learning. Most techniques have focused on local approximate invariance implemented within expensive optimization frameworks lacking explicit theoretical guarantees. In this paper, we study kernels that are invariant to a unitary group while having theoretical guarantees in addressing the important practical issue of unavailability of transformed versions of labelled data. A problem we call the Unlabeled Transformation Problem which is a special form of semi-supervised learning and one-shot learning. We present a theoretically motivated alternate approach to the invariant kernel SVM based on which we propose Max-Margin Invariant Features (MMIF) to solve this problem. As an illustration, we design an framework for face recognition and demonstrate the efficacy of our approach on a large scale semi-synthetic dataset with 153,000 images and a new challenging protocol on Labelled Faces in the Wild (LFW) while out-performing strong baselines.

연구 동기 및 목표

• 레이블이 부여된 변환된 데이터가 가용하지 않을 때의 불변 표현 학습 문제에 대응하기 위해, 레이블이 없는 증강 데이터가 존재하는 상황에서의 문제를 해결한다.
• 레이블 기반 증강 데이터에 의존하지 않고도 유니터리 군 변환에 대해 불변성을 보장하는 이론적으로 탄탄한 방법을 개발한다.
• 레이블이 없는 데이터에서 관측된 변환에 대해 불변인 특징을 추출함으로써 1-shot 학습을 가능하게 한다.
• 최대 마진 분류와 명시적 불변성을 갖는 양의 정부호 불변 커널을 통합한다.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 유니터리 군 작용에 대한 불변성을 확보하기 위해 군 평균 커널 연산자 $\Psi_{\mathcal{H}} = \int_{\mathcal{G}_{\mathcal{H}}} g_{\mathcal{H}} dg_{\mathcal{H}}$ 를 제안한다.
• MMIF 특징를 $\mathrm{MMIF}(x') = \langle l(x'), \omega_k \rangle$ 로 정의하며, 여기서 $l(x')_i = \langle \phi(x'), \Psi_{\mathcal{H}} \phi(t_i) \rangle$ 는 SVM 이중 해의 각 기저 벡터 $\omega_k$ 에 대해 정의된다.
• 군 작용에 대한 커널 곱의 불변성 덕분에, 모든 $g' \in \mathcal{G}$ 에 대해 $\mathrm{MMIF}(x') = \mathrm{MMIF}(g'x')$ 를 확보함으로써, 레이블이 없는 데이터에서 관측된 변환에 대해 특징이 불변이 되도록 보장한다.
• 원래 SVM 분류기의 마진이 변환된 데이터 다양체에서 유지됨을 증명함으로써 이론적 보장을 확립한다.
• 유니터리 군 성질과 하르 측도 정규화를 활용하여, 구성에 의해 군 변환에 대해 불변인 특징 맵 $l(x')$ 를 사용한다.
• 포즈, 조명 또는 표정의 변화가 있는 레이블이 없는 이미지를 사용하여 얼굴 인식에 적용함으로써, 레이블 기반 증강 없이도 불변성을 학습한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 변환된 데이터만 존재할 때, 레이블 기반 증강 없이도 변환에 불변인 표현을 학습할 수 있는가?
• RQ2 유니터리 군 변환에 대해 이론적으로 보장된 불변성을 가지면서도 SVM의 최대 마진 성질을 유지하는 양의 정부호 커널을 구성할 수 있는가?
• RQ3 제안된 MMIF 프레임워크는 관측되지 않은 변환에 대해 단일 레이블 예제에서 일반화함으로써 효과적인 1-shot 학습을 가능하게 하는가?
• RQ4 커널의 이론적 불변성이 반-초기화 및 1-shot 학습 환경에서 실질적인 성능 향상으로 이어지는가?
• RQ5 레이블 기반 증강이 불가능한 환경에서, 기존의 증강 기반 접근법보다 성능을 뛰어넘을 수 있는가?

주요 결과

• MMIF는 153,000장의 이미지를 포함하는 대규모 반-합성적 얼굴 데이터셋에서 최신 기준 성능을 달성하며, 노이즈 변환 하에서의 일반화 능력이 뛰어나다.
• 레이블이 있는 얼굴들(LFW) 데이터셋에 대한 새로운 도전적인 프로토콜에서 뛰어난 성능을 보이며, 실제 세계의 1-shot 학습 시나리오에서의 효과성을 확인한다.
• 이론적 분석을 통해 불변 커널 $\Psi_{\mathcal{H}}$ 가 최대 마진 성질을 유지함을 증명하였으며, 이는 원래 데이터에 대한 최적의 분리자가 변환된 데이터 다양체에 대해서도 최적임을 보장한다.
• 모든 차원의 MMIF 특징가 $\mathcal{G}$ 의 변환에 대해 불변임을 보여주는 항등식 $l(x')_i = l(g'x')_i$ 를 통해, 완전한 불변성을 확보한다.
• 프레임워크는 레이블이 없는 데이터만으로도 불변성을 성공적으로 학습하여, 변환 모델의 구체적 지식이 필요 없는 Unlabeled Transformation Problem을 해결한다.
• 실험 결과는 MMIF가 단일 레이블 예제만으로도 효과적으로 일반화됨을 확인하며, 낮은 데이터 환경에서의 유용성을 입증한다.