[논문 리뷰] Shaping representations through communication: community size effect in artificial learning systems

Olivier Tieleman, Angeliki Lazaridou외 3명|arXiv (Cornell University)|2019. 12. 12.

Language and cultural evolution참고 문헌 13인용 수 13

한 줄 요약

이 논문은 여러 개의 인코더와 디코더가 반복마다 무작위로 쌍을 이루며 훈련하는 커뮤니티 기반 오토에인코드어(CbAEs)를 소개한다. 이는 더 추상적이고 개념 중심적인 표현을 생성한다. 커뮤니티 크기를 늘일수록 개인적인 코딩 패턴이 감소하여 인간의 기능 기준과 더 잘 일치하고, 개념 카테고리에 대한 선형 분류기 성능이 향상된다.

ABSTRACT

Motivated by theories of language and communication that explain why communities with large numbers of speakers have, on average, simpler languages with more regularity, we cast the representation learning problem in terms of learning to communicate. Our starting point sees the traditional autoencoder setup as a single encoder with a fixed decoder partner that must learn to communicate. Generalizing from there, we introduce community-based autoencoders in which multiple encoders and decoders collectively learn representations by being randomly paired up on successive training iterations. We find that increasing community sizes reduce idiosyncrasies in the learned codes, resulting in representations that better encode concept categories and correlate with human feature norms.

연구 동기 및 목표

• 인공 학습 시스템에서 커뮤니티 크기가 표현을 더 추상적이고 규칙적인 방향으로 이끌어내는지, 대규모 인간 커뮤니티에서의 언어 단순화와 유사한지 조사하기 위해.
• 오토에인코드어에서 다자간 소통이 단일 파artner 오토에인코드어에서 관찰되는 개인적인 인코딩 패턴을 줄이는지 테스트하기 위해.
• 더 큰 커뮤니티가 개념 카테고리를 더 잘 표현하고 인간의 지각 기준과 관련성이 높은 표현을 생성하는지 평가하기 위해.
• 동일한 용량을 가진 독립적 오토에인코드어와 비교하여 커뮤니티 기반 훈련의 영향을 분리해보기 위해.

제안 방법

• CbAEs는 K개의 인코더와 K개의 디코더로 구성되며, 각 훈련 단계에서 무작위로 한 쌍의 인코더-디코더를 선택해 표준 오토에인코드를 수행한다.
• 인코더는 디코더의 신원을 모른 채 잠재 표현을 생성하므로, 다양한 디코더에 걸쳐 일반화를 유도한다.
• 디코더는 인코더의 신원을 모른 채 입력을 재구성하므로, 잠재 공간에서의 강건성과 일반화를 촉진한다.
• 훈련은 입력과 재구성된 데이터 간의 L2 재구성 손실을 최소화하며, 매 반복마다 파라미터를 갱신한다.
• 표현은 개념 분류를 위한 선형 프로빙과 인간이 주석 처리한 시각적 특징(VisA)에 대한 표현 유사도 분석(RSA)을 통해 평가된다.
• 제어 기준은 동일한 용량과 초기화 다양성을 가지지만 커뮤니티 상호작용이 없는 독립적 오토에인코드어의 앙상블이다.

실험 결과

연구 질문

• RQ1 학습 커뮤니티에서 소통 파artner 수를 늘일수록 인공 오토에인코드어에서 더 단순하고 규칙적인 표현이 생성되는가?
• RQ2 CbAEs가 저수준의 시각적 세부 정보보다 고수준의 개념을 얼마나 잘 표현하는가?
• RQ3 CbAE에 의해 유도된 표현이 인간이 주석 처리한 기능 기준과 얼마나 잘 일치하는가? 이 상관관계는 커뮤니티 크기가 증가함에 따라 향상되는가?
• RQ4 커뮤니티 기반 훈련에서의 성능 향상은 커뮤니티 구조 덕분인가, 아니면 동일한 용량의 독립 모델로도 재현 가능한가?

주요 결과

• MNIST에서 개념 분류 정확도는 커뮤니티 크가 증가함에 따라 단조롭게 상승하여 더 추상적인 표현을 의미한다.
• CIFAR-100에서 1명 이상의 커뮤니티 구성원이 있을 경우 개념 분류 성능 향상이 뚜렷했으며, 2~4명을 초과하면 추가 향상이 없었다.
• 표현 유사도 분석(RSA) 결과, 커뮤니티 크가 증가할수록 CbAE 표현이 인간의 기능 기준과 더 강하게 상관관계를 보였다.
• RSA 상관관계는 동일한 용량의 독립적 오토에인코드어 앙상블의 최고 성능보다 유의미하게 높았으며, 이는 커뮤니티 메커니즘이 향상의 근본 원인임을 입증했다.
• 재구성 손실은 커뮤니티 크가 증가함에 따라 증가하여, 픽셀 수준의 정확성과 고수준의 추상화 사이의 상충 관계를 확인했다.
• 메서드는 훈련 시드에 대해 강건했으며, 성능의 변동성이 낮았고, 독립적 오토에인코드어 앙상블의 더 변동성이 큰 성능과 대비되었다.