[논문 리뷰] Bayesian representation learning with oracle constraints

Theofanis Karaletsos, Serge Belongie외 1명|arXiv (Cornell University)|2015. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 34

한 줄 요약

이 논문은 변분 추론을 통해 인간이 인식한 유사성 판단과 같은 오라클 제공의 삼중 비교 제약 조건을 비선형 잠재 요인 모델에 통합하는 베이지안 생성 모델을 제안한다. 삼중 비교 제약 조건을 확률적으로 모델링하고, 마스크된 부분공간을 사용해 의미적 요인을 분리함으로써, 메트릭 학습 및 비지도 생성 모델보다 이미지 표현 작업에서 더 뛰어난 성능을 보이는 해석 가능하고 의미적으로 구조화된 표현을 학습한다.

ABSTRACT

Representation learning systems typically rely on massive amounts of labeled data in order to be trained to high accuracy. Recently, high-dimensional parametric models like neural networks have succeeded in building rich representations using either compressive, reconstructive or supervised criteria. However, the semantic structure inherent in observations is oftentimes lost in the process. Human perception excels at understanding semantics but cannot always be expressed in terms of labels. Thus, \emph{oracles} or \emph{human-in-the-loop systems}, for example crowdsourcing, are often employed to generate similarity constraints using an implicit similarity function encoded in human perception. In this work we propose to combine \emph{generative unsupervised feature learning} with a \emph{probabilistic treatment of oracle information like triplets} in order to transfer implicit privileged oracle knowledge into explicit nonlinear Bayesian latent factor models of the observations. We use a fast variational algorithm to learn the joint model and demonstrate applicability to a well-known image dataset. We show how implicit triplet information can provide rich information to learn representations that outperform previous metric learning approaches as well as generative models without this side-information in a variety of predictive tasks. In addition, we illustrate that the proposed approach compartmentalizes the latent spaces semantically which allows interpretation of the latent variables.

연구 동기 및 목표

• 라벨이 희박하거나 가용하지 않을 때 의미적으로 유의미한 표현을 학습하는 데 도전한다.
• 인지적 유사성과 같은 암묵적 인간-인간 지식(예: 인지적 유사성)을 명시적이고 해석 가능한 잠재 공간으로 전이한다.
• 순수하게 비지도 표현 학습의 한계를 극복하기 위해 구조화되고 명시되지 않은 오라클 피드백을 통합한다.
• 마스크된 부분공간을 통해 오라클 제약 조건을 모델링함으로써 분리된, 해석 가능한 잠재 표현을 가능하게 한다.
• 초기 학습된 표본이 필요 없이 데이터와 삼중 비교 제약 조건을 동시에 학습하는 확장 가능한 종단 간 프레임워크를 개발한다.

제안 방법

• 잠재 표현에 대한 확률적 가능도 함수로 삼중 비교 제약 조건(예: x_i가 x_j보다 x_l보다 더 유사함)을 수식화한다.
• 오라클의 유사성 판단을 잠재 요인 간의 은폐된, 암묵적인 유사성 함수로 모델링하고, 삼중 비교 과정의 생성 모델을 사용한다.
• 다양한 유형의 오라클 질의에 관련된 별개의 의미적 요인(예: 정체성, 조명)을 고립하고 학습하기 위해 잠재 공간에 질문별 마스크된 부분공간을 도입한다.
• 변분 추론 알고리즘을 사용해 잠재 변수의 사후분포를 근사함으로써, 데이터와 삼중 비교 제약 조건을 동시에 효율적으로 학습할 수 있도록 한다.
• 정보 이론적 거리 측정 기반의 가능도를 삼중 비교 관측치에 정의하여, 기존의 유클리드 기반 삼중 비교 손실을 일반화한다.
• 데이터 복원과 삼중 비교 제약 조건 충족을 동시에 고려한 공동 가능도를 정의하여 생성 및 메트릭 목표를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 인정된 유사성 제약 조건(예: 커뮤니티 기반 캐디네이션에서 제공됨)이 베이지안 생성 모델에 효과적으로 통합되어 표현 품질이 향상될 수 있는가?
• RQ2 다양한 의미적 요인(예: 정체성, 조명)이 별개의 부분공간에 국한되도록 잠재 공간의 분리가 어떻게 달성될 수 있는가?
• RQ3 오라클 제약 조건을 통합할 경우, 순수하게 비지도 또는 메트릭 학습 방법에 비해 하류 예측 성능이 얼마나 향상되는가?
• RQ4 명시적 레이블이나 사전 학습된 특징이 필요 없이도 모델이 해석 가능하고 의미적으로 의미 있는 표현을 학습할 수 있는가?
• RQ5 마스크된 부분공간의 사용이 다양한 오라클 질의 유형을 동시에 학습할 수 있는 능력을 어떻게 향상시키는가?

주요 결과

• 모델은 정체성, 조명의 방향각 및 고도와 같은 별개의 의미적 요인에 대응하는 분리된, 해석 가능한 잠재 부분공간을 학습한다.
• t-SNE 시각화 결과는 얼굴가 정체성 기반으로 명확히 군집되어 있고, 조명 각도에 따라 부드럽게 전이되는 경향을 보여, 잠재 공간 내 의미적 구조를 확인한다.
• 최첨단 메트릭 학습 및 비지도 생성 모델에 비해 삼중 비교 예측 및 분류 작업에서 뛰어난 성능을 달성한다.
• 마스크된 잠재 공간 보간을 통한 통제된 이미지 합성은 한 이미지의 얼굴 정체성을 다른 이미지의 조명 조건으로 이식하는 데 성공하여 의미적 제어 능력을 입증한다.
• 희박한 오라클 피드백 조건에서도 비지도 오토인코더 및 메트릭 학습 기반 모델보다 예측 정확도에서 뛰어난 성능을 보인다.
• 마스크된 부분공간의 사용은 다양한 오라클 질의 유형에 대해 별개의 의미 있는 특징을 학습할 수 있도록 하여 일반화 능력과 해석 가능성을 향상시킨다.