[논문 리뷰] Weakly Supervised Disentanglement with Guarantees

Rui Shu, Yining Chen외 3명|arXiv (Cornell University)|2019. 10. 22.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 33

한 줄 요약

논문은 분포 매칭을 이용한 약지도 분리(disentanglement)에 대한 이론적 프레임워크를 제공하고, 일관성(consistency)과 제한성(restrictiveness)을 정의하며, 여러 감독(weak supervision) 유형에 대한 보장(guarantees)을 증명하고, 경험적으로 검증한다.

ABSTRACT

Learning disentangled representations that correspond to factors of variation in real-world data is critical to interpretable and human-controllable machine learning. Recently, concerns about the viability of learning disentangled representations in a purely unsupervised manner has spurred a shift toward the incorporation of weak supervision. However, there is currently no formalism that identifies when and how weak supervision will guarantee disentanglement. To address this issue, we provide a theoretical framework to assist in analyzing the disentanglement guarantees (or lack thereof) conferred by weak supervision when coupled with learning algorithms based on distribution matching. We empirically verify the guarantees and limitations of several weak supervision methods (restricted labeling, match-pairing, and rank-pairing), demonstrating the predictive power and usefulness of our theoretical framework.

연구 동기 및 목표

• 약식 공간에서 분포 매칭으로의 약지도 학습 formalize.
• 상관된 요인을 다루기 위해 일관성과 제한성으로 disentanglement 정의.
• 다른 약지도 신호를 다루기 위한 disentanglement의 계산법(calculus) 개발.
• 제한적 표기(labeling), 매치 페어링(match pairing), 랭크 페어링(rank pairing)이라는 세 가지 약지도 클래스 분석 및 보장.
• 표준 disentanglement 벤치마크에서 이론적 보장을 실증적으로 검증

제안 방법

• 데이터 생성 과정을 S 요인과 X 관측으로 모델링하고 생성기 g와 인코더 e로 표현.
• S를 I 와 보 complement로 구분하고 I를 관찰/샘플링하여 감독을 확장하여 증강 분포로 확장.
• 생성기 일관성 정의: Z_I에 주어진 경우 S_I는 S_{ obreak{I}}의 변화에 대해 불변이다.
• 생성기 제한성 정의: Z_I의 변화는 오직 S_I에만 영향을 미치고 S_{ obreak{ obreak{I}}}에는 영향을 주지 않는다.
• 일관성(Consistency)과 제한성(Restrictiveness)을 Z_I가 S_I에 대해 충족시키는 정도로 disentanglement 정의.
• 제한된 표기, 매치 페어링, 랭크 페어링 하의 분포 매칭이 C(I; p, g, e^*) 및 C(I; p^*, g^*, e) 보장을 증명한다.
• 학습 알고리즘과 감독 신호를 결합한 충분성 프레임워크를 제안하여 모든 요인에 대해 disentanglement를 달성할 수 있다.

실험 결과

연구 질문

• RQ1 약지도와 분포 매칭을 결합할 때 disentanglement에 대해 어떠한 형식적 보장을 제공할 수 있는가?
• RQ2 제한적 표기, 매치 페어링, 랭크 페어링이 개별 요인에 대해 일관성 및/또는 제한성에 어떻게 기여하는가?
• RQ3 여러 약지도 신호를 결합하면 전체 disentanglement이 가능하며, 어떤 조건에서 가능한가?
• RQ4 인코더 기반 관점과 생성기 기반 관점은 disentanglement 보장을 제공하는 데 어떻게 관련되는가?

주요 결과

• 제한적 표기, 매치 페어링, 또는 랭크 페어링을 통해 대상 요인에 대한 일관성을 보장한다.
• 일관성과 제한성은 (계산법을 통해) 결합되어 여러 약 신호로부터 완전한 disentanglement를 유도할 수 있다.
• Shapes3D, dSprites, Scream-dSprites, SmallNORB, Cars3D에서의 실험 결과 단일 요인 신호를 결합하면 disentanglement 점수가 높아진다.
• 일관성과 제한성은 서로 관련이 있지만 서로를 의미하지는 않으며, 그러나 모델의 귀납적 편향으로 인해 실무에서 강하게 상관된다.
• 일부 요인이 서로 상관관계가 있어도 증강된 감독이 올바른 일관성/제한성 특성을 제공하면 disentanglement가 가능하다.