[논문 리뷰] Information Competing Process for Learning Diversified Representations

Jie Hu, Rongrong Ji외 5명|arXiv (Cornell University)|2019. 06. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 7

한 줄 요약

이 논문은 상호정보량 제약 조건이 서로 반대되는 두 부분으로 특징 표현을 분할함으로써 다양화된 표현을 학습하는 데 목적이 있는 새로운 프레임워크인 정보 경쟁 프로세스(Information Competing Process, ICP)를 제안한다. 하나는 입력과의 상호정보량을 최대화하고, 다른 하나는 최소화하도록 제약을 둔다. 이러한 경쟁적 부분들은 상호 간의 지식을 접근하지 못하도록 독립적으로 학습되어 부정확성을 방지하고, 이후 상호보완적으로 융합되어 더 분리되고 구분력 있는 특징을 생성한다. 이는 이미지 분류 및 복원 작업에서 상태의 성능을 향상시키며, 최신의 분리도 점수를 확보한 것으로 검증되었다.

ABSTRACT

Learning representations with diversified information remains as an open problem. Towards learning diversified representations, a new approach, termed Information Competing Process (ICP), is proposed in this paper. Aiming to enrich the information carried by feature representations, ICP separates a representation into two parts with different mutual information constraints. The separated parts are forced to accomplish the downstream task independently in a competitive environment which prevents the two parts from learning what each other learned for the downstream task. Such competing parts are then combined synergistically to complete the task. By fusing representation parts learned competitively under different conditions, ICP facilitates obtaining diversified representations which contain rich information. Experiments on image classification and image reconstruction tasks demonstrate the great potential of ICP to learn discriminative and disentangled representations in both supervised and self-supervised learning settings.

연구 동기 및 목표

• 표현 학습에서 다양화된 표현을 학습하는 데 있어 열려 있는 문제를 해결하기 위해.
• 기존 방법들이 단일 유형의 상호정보량 제약 조건에 의존하여 부족한 정보를 지닌 반복적인 특징을 생성하는 한계를 극복하기 위해.
• 표현의 서로 다른 부분들이 입력으로부터 상호 보완적인 정보를 학습하도록 프레임워크를 개발하기 위해.
• 경쟁적으로 학습된 표현의 상호보완적 융합을 통해 최종 작업 성능을 향상시키기 위해.
• ICP의 효과성을 지도학습 및 비지도학습 환경 모두에서 검증하기 위해.

제안 방법

• ICP는 표현을 두 부분으로 분할하며, 각각 다른 상호정보량 목표를 가지도록 제약을 둔다: 하나는 입력과의 상호정보량을 최대화하고, 다른 하나는 최소화한다.
• 두 부분은 최적화 과정에서 서로의 지식에 접근할 수 없도록 경쟁적인 설정에서 독립적으로 학습된다.
• 독립적 학습 이후 두 부분은 연결되어 최종 작업을 수행하기 위해 공동으로 사용되며, 이는 상호보완적인 특징 학습을 가능하게 한다.
• 이 방법은 지도학습 및 비지도학습 환경에서 경쟁적 및 협력적 단계를 균형 있게 조절하는 새로운 목적 함수를 사용하여 최적화된다.
• 프레임워크는 딥 신경망을 사용하여 VGG, GoogLeNet, ResNet, DenseNet 및 β-VAE 아키텍처에 적용된다.
• 분리도 평가에는 MIG 점수를, 복원 품질 평가에는 MSE 및 SSIM을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 서로 반대되는 상호정보량 제약 조건을 가진 부분 간의 경쟁을 강제하는 표현 학습 프레임워크가 더 다양하고 정보가 풍부한 특징을 학습할 수 있는가?
• RQ2 표현 부분 간의 경쟁적 학습이 특징의 중복을 방지하고 분리도를 향상시키는가?
• RQ3 경쟁적으로 학습된 부분의 상호보완적 융합이 이미지 분류 및 복원과 같은 최종 작업 성능을 향상시키는가?
• RQ4 기준 데이터셋에서 분리도 및 복원 품질 측면에서 ICP는 최신 기술 대비 어떤가?
• RQ5 자기지도학습 환경에서 ICP는 세밀한, 의미적으로 유의미한 분리된 표현을 어느 정도 학습하는가?

주요 결과

• 3D Faces 데이터셋에서 ICP는 상태 최고 수준의 MIG 점수 0.73를 기록했으며, β-VAE(0.54) 및 β-TCVAE(0.62)를 모두 초월했다.
• dSprites 데이터셋에서 ICP는 MIG 점수 0.48을 기록했으며, β-VAE(0.22) 및 β-TCVAE(0.38)를 능가했다.
• CelebA에서 자기지도학습 복원 작업에서 ICP는 MSE 8.5×10⁻³, SSIM 0.62를 기록했으며, β-VAE의 MSE 9.2×10⁻³ 및 SSIM 0.60보다 우수했다.
• 정성적 분석 결과, ICP는 dSprites에서의 회전, 3D Faces에서의 얼굴 너비, CelebA에서의 턱수염과 같은 세밀한 속성을 성공적으로 분리했다.
• 제거 실험 결과, 경쟁 프로세스를 제거할 경우 분리도 성능이 떨어지며, 이는 그 필요성을 검증한다.
• 다양한 아키텍처와 학습 설정 전반에서 일관된 성능 향상이 나타나, ICP의 일반화 가능성과 강건성을 확인했다.