[논문 리뷰] Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization

Weijia Zhang, Xuanhui Zhang외 2명|arXiv (Cornell University)|2022. 02. 25.

Image Retrieval and Classification Techniques인용 수 6

한 줄 요약

이 논문은 다중 인스턴스 인과 표현 학습 프레임워크인 CausalMIL을 제안한다. 이 프레임워크는 인스턴스 수준의 인과적 요인을 백 수준의 감독 정보로부터 식별하며, 잠재 표현을 조건부로 비인과적 지수분포족에 따라 모델링한다. 인과적 요인과 비의미적인 요인을 분리함으로써 CausalMIL은 합성 및 실제 데이터셋에서 인스턴스 레이블 예측과 분포 외 일반화 성능에서 최신 기술을 크게 뛰어넘는 성능을 달성한다.

ABSTRACT

Multi-instance learning (MIL) deals with objects represented as bags of instances and can predict instance labels from bag-level supervision. However, significant performance gaps exist between instance-level MIL algorithms and supervised learners since the instance labels are unavailable in MIL. Most existing MIL algorithms tackle the problem by treating multi-instance bags as harmful ambiguities and predicting instance labels by reducing the supervision inexactness. This work studies MIL from a new perspective by considering bags as auxiliary information, and utilize it to identify instance-level causal representations from bag-level weak supervision. We propose the CausalMIL algorithm, which not only excels at instance label prediction but also provides robustness to distribution change by synergistically integrating MIL with identifiable variational autoencoder. Our approach is based on a practical and general assumption: the prior distribution over the instance latent representations belongs to the non-factorized exponential family conditioning on the multi-instance bags. Experiments on synthetic and real-world datasets demonstrate that our approach significantly outperforms various baselines on instance label prediction and out-of-distribution generalization tasks.

연구 동기 및 목표

• 백 수준의 감독 정보로부터 의미 있는 인과적 요인을 식별함으로써 약한 감독 기반의 다중 인스턴스 학습(MIL)과 완전한 감독 학습 간의 성능 격차를 해소하고자 한다.
• 백에 의해 유전되는 비의미적인 요인들로부터 인과적 표현을 분리함으로써 인스턴스 레이블 예측 성능을 향상시키고자 한다.
• 예측 모델이 인스턴스 전용 인과적 요인에만 의존하도록 보장함으로써 분포 외 일반화 성능을 향상시키고자 한다.
• 백에 조건부로 설정된 실용적인 비인과적 지수분포족 사전 분포 하에서 인과적 표현의 식별 가능성을 확립하고자 한다.
• 강력한 표현 학습을 위한 다중 인스턴스 학습과 식별 가능한 변동형 오토인코더를 융합하는 통합 프레임워크를 제공하고자 한다.

제안 방법

• CausalMIL은 각 인스턴스가 두 가지 잠재 요인에서 생성된 것으로 모델링한다: 인스턴스 전용 인과적 요인 $\bm{z}^c_{ij}$ 와 백에 의해 유전된 비인과적 요인 $\bm{z}^e_{ij}$ 로, 백 레이블은 인스턴스 레이블의 영향을 받는 결과로 간주된다.
• 백에 조건부로 설정된 비인과적 지수분포족에 속하는 조건부 사전 분포를 갖는 변동형 오토인코더를 사용함으로써 인과적 요인의 식별 가능성을 보장한다.
• 모델은 인스턴스 전용 요인 $\bm{z}^c_{ij}$ 가 인스턴스 레이블을 예측할 수 있도록 유도하면서도 $\bm{z}^e_{ij}$ 와의 의존도를 최소화하도록 하는 분리 목적 함수를 사용한다.
• 핵심 요소로는 백 수준의 감독 정보를 활용해 분리를 이끌어내는 것으로, 이는 예측에 영향을 주는 요소가 오직 인과적 요인뿐이 되도록 보장함으로써 분포 이동에 대한 강건성을 향상시킨다.
• MIL와 식별 가능한 VAE를 통합함으로써, 백 수준의 정보가 풍부한 점을 활용해 의미 있는 인과적 표현을 식별하고 고립한다.
• 재구성, 분리, 예측 성능를 균형 잡는 기울기 기반 목적 함수를 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 다중 인스턴스 백이 노이즈가 아니라 인스턴스 수준의 인과적 표현을 식별하는 데 보조 정보로 활용될 수 있는가?
• RQ2 비의미적인 잠재 요인들로부터 인과적 요인을 분리함으로써, 약한 감독 하에서 인스턴스 레이블 예측 성능이 향상되는가?
• RQ3 백 수준의 레이블로부터의 인과적 표현 학습이 약한 감독 환경에서 분포 외 일반화 성능을 향상시키는가?
• RQ4 백에 조건부로 설정된 비인과적 지수분포족 사전 분포를 사용해 다중 인스턴스 학습(MIL)에서 인과적 요인의 식별 가능한 분리를 달성할 수 있는가?
• RQ5 CausalMIL은 기존의 딥 MIL 방법과 비교해 내부 분포 및 분포 외 성능 모두에서 어떤가?

주요 결과

• CausalMIL은 반합성 및 실제 데이터셋 모두에서 최신 기술을 뛰어넘는 성능을 보이며, 인스턴스 레이블 예측에서 뚜렷한 승리를 거두었다.
• 모델은 오직 인스턴스 전용 인과적 요인에 의존함으로써 분포 외 일반화 성능을 향상시켰으며, 백에 의해 유전된 비의미적인 상관관계에 대한 의존도를 감소시켰다.
• 실험 결과는 $\bm{z}^c_{ij}$ 와 $\bm{z}^e_{ij}$ 를 분리함으로써 더 강건하고 일반화 가능한 표현을 얻을 수 있음을 입증하였다. 이는 그러한 분리를 수행하지 않는 모델에 비해 우수한 성능을 보였다.
• 조건부 비인과적 지수분포족 사전 분포의 사용은 인과적 요인의 식별 가능한 학습을 가능하게 하였으며, 이는 본 방법의 성공의 핵심 요소이다.
• 노이즈가 있거나 손상된 백 수준의 레이블 조건에서도 CausalMIL는 뛰어난 성능을 유지하여, 감독 정보의 정확성 부족에 대한 내재적 강건성을 보였다.
• 정성적 분석을 통해 추론된 $\bm{z}^c_{ij}$ 요소들이 이미지 재구성 및 분리 품질에서 의미 있는 분리 표현을 잘 반영하고 있음을 확인하였다.