[논문 리뷰] Desiderata for Representation Learning: A Causal Perspective

Zhaoran Wang, Michael I. Jordan|arXiv (Cornell University)|2021. 09. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 95인용 수 17

한 줄 요약

이 논문은 반사적 양상과 관찰 가능한 영향을 통해 표현 학습의 핵심 바람직한 조건—비임의성, 효율성, 분리성—을 형식화하기 위한 인과적 프레임워크를 제안한다. 확률의 필요성/충분성(PN/PS)과 지지의 독립도 점수(IOSS)와 같은 계산 가능한 메트릭을 도입하여, 지도학습 데이터셋에서 지도된 특징이나 간섭 데이터 없이도 표현의 평가 및 최적화를 가능하게 한다.

ABSTRACT

Representation learning constructs low-dimensional representations to summarize essential features of high-dimensional data. This learning problem is often approached by describing various desiderata associated with learned representations; e.g., that they be non-spurious, efficient, or disentangled. It can be challenging, however, to turn these intuitive desiderata into formal criteria that can be measured and enhanced based on observed data. In this paper, we take a causal perspective on representation learning, formalizing non-spuriousness and efficiency (in supervised representation learning) and disentanglement (in unsupervised representation learning) using counterfactual quantities and observable consequences of causal assertions. This yields computable metrics that can be used to assess the degree to which representations satisfy the desiderata of interest and learn non-spurious and disentangled representations from single observational datasets.

연구 동기 및 목표

• 인과 추론 원리를 활용하여 표현 학습의 직관적인 바람직한 조건—비임의성, 효율성, 분리성—을 형식화하기 위해.
• 수동으로 레이블이 부여된 특징이나 간섭 데이터에 접근할 수 없는 상황에서 표현의 평가 및 최적화 문제를 해결하기 위해.
• 인과 이론에 기반한 계산 가능한, 관찰 가능한 메트릭을 개발하여 학습된 표현의 품질을 평가하기 위해.
• 간섭이나 강력한 구조적 가정 없이도 특정 바람직한 조건을 목표로 하는 표현 학습 알고리즘을 가능하게 하기 위해.
• 분리성과 정보성은 상호 배타적이지 않으며, 동시에 학습이 가능하다는 것을 뒷받침하기 위해.

제안 방법

• Pearl의 원인 확률 개념을 활용하여 지도학습에서 비임의성과 효율성을 형식화하고, 필요성 확률(PN)과 충분성 확률(PS)을 정의한다.
• 관찰 데이터로부터 PN과 PS의 관찰 가능한 영향을 유도하여, 간섭 없이도 추정이 가능하게 한다.
• 레이블의 필수적이고 충분한 원인이 되는 표현을 학습하기 위해 PN과 PS를 최적화 목표로 사용하는 CAUSAL-REP 알고리즘을 제안한다.
• 표현 차원 간의 인과적 영향이 없음을 조건으로 하여, 정규성 조건 하에서 독립된 지지 구조를 통해 분리성을 형식화한다.
• 관찰 가능한 데이터를 사용하여 인과적 분리성을 평가할 수 있는 계산 가능한 메트릭인 지지의 독립도 점수(IOSS)를 도입한다.
• 무 supervision 환경에서 분리된 표현을 유도하기 위해 IOSS 페널티를 포함한 표현 학습 알고리즘을 개발한다. 예를 들어 VAE와 같은 모델에 적용한다.

실험 결과

연구 질문

• RQ1 표현 학습에서 비임의성은 인과 개념을 사용하여 어떻게 형식화되고 측정될 수 있는가?
• RQ2 지도학습에서 표현의 효율성과 비임의성을 측정할 수 있는 관찰 가능한 메트릭은 무엇인가?
• RQ3 비지도 표현 학습에서 분리성은 어떻게 인과적 성질로 형식화될 수 있는가?
• RQ4 표현 차원 간의 지지 독립도가 인과적 분리성의 신뢰할 수 있는 대체 측정 기준이 될 수 있는가?
• RQ5 표현 학습에서 분리성과 정보성 사이에 상충 관계가 존재하는가, 그리고 둘을 동시에 달성할 수 있는가?

주요 결과

• 약한 조건 하에서 비임의성과 효율성의 측정 가능성이 관찰 데이터로부터 확보되며, 이를 통해 직접적으로 효율성과 비임의성을 측정할 수 있다.
• CAUSAL-REP 알고리즘은 레이블의 필수적이고 충분한 원인이 되는 표현을 성공적으로 학습하여 분포 이동에 대한 강건성을 향상시킨다.
• IOSS 메트릭은 인과적 분리성을 효과적으로 캡처하며, 간섭에 대한 강건성과 상관관계를 가지며, 강화가 강할수록 증가한다.
• 실험 결과, IOSS 정규화를 증가시키면 모델 적합도나 로그우도가 악화되지 않으면서도 분리성이 향상됨을 보여주며, 정보성과의 상충관계가 크지 않음을 시사한다.
• 기존의 비지도 분리성 알고리즘보다 IOSS 기반 방법이 더 우수한 인과적 분리된 표현을 생성함을 입증하였다.
• 이론적 결과는 독립된 지지를 가진 표현의 식별 가능성을 입증하며, IOSS를 유효한 학습 목표로 사용할 수 있음을 뒷받침한다.