[논문 리뷰] On Invariance and Selectivity in Representation Learning

Fabio Anselmi, Lorenzo Rosasco외 1명|arXiv (Cornell University)|2015. 03. 19.

Neural dynamics and brain function참고 문헌 23인용 수 13

한 줄 요약

이 논문은 비선형 컴act 군에 대한 평균을 사용하여 기계 학습에서 변환에 대해 불변이자 선택적인 표현을 학습하는 이론적 프레임워크를 제안한다. 이 표현들은 변환된 데이터 포인트에 대해서만 동일한 출력을 할당하며, 이러한 표현이 효과적인 학습 문제 크기를 줄여 낮은 샘플 복잡도를 달성함을 증명한다.

ABSTRACT

We discuss data representation which can be learned automatically from data, are invariant to transformations, and at the same time selective, in the sense that two points have the same representation only if they are one the transformation of the other. The mathematical results here sharpen some of the key claims of i-theory -- a recent theory of feedforward processing in sensory cortex.

연구 동기 및 목표

• 감독 기반 기계 학습에서의 높은 샘플 복잡도 문제를 해결하기 위해 비지도 학습 방식으로 데이터 표현을 학습하는 것.
• 표현 학습에서 변환에 대한 불변성(불변성)과 비동치 입력을 구분하는 선택성(선택성)이라는 이중 요구 조건을 정식화하는 것.
• 비선형 군 평균 기반의 이론적 기반을 구축하여 수학적으로 엄밀하고 생물학적으로 타당한 표현을 제안하며, 시각 피질 처리에 영감을 받는다.
• 이론을 다층 아키텍처와 局소 변환으로 확장하여 컨volutional 신경망과 생물학적 계산과 연결하는 것.
• 비지도 학습을 통해 이러한 표현을 학습할 경우, 후속 작업에 필요한 레이블된 예시 수를 극적으로 줄일 수 있음을 보여주는 것.

제안 방법

• 컴 pact 군(예: 회전)에 대한 비선형 군 평균을 사용하여 군 작용에 대해 불변인 표현을 구성하는 것.
• 불변성을 보장하기 위해 Haar 측도를 활용하고, 군 평균이 군 작용에 대해 불변임을 증명하는 것.
• 확률적 결과를 활용하여 한 차원의 사영을 통해 확률 측도를 특성화함으로써 선택성을 확립하는 것.
• 전역 군 구조를 완화하여 局소 변환에 대해 적용 가능한 프레임워크로 확장하는 것.
• 다층 아키텍처에 이론을 적용하여 HMAX 및 컨volutional 네트워크와 유사한 계층적 특징 추출을 모델링하는 것.
• 풀링 연산의 안정성 분석을 통해 일관된 비선형성 적용이 불변성과 선택성을 유지함을 보여주는 것.

실험 결과

연구 질문

• RQ1 어떻게 변환에 대해 불변이면서도, 동치의 데이터 포인트에만 동일한 출력을 할당하는 선택성을 갖는 표현을 학습할 수 있는가?
• RQ2 군 작용 하에서 표현이 동시에 불변성과 선택성을 갖기 위한 수학적 조건은 무엇인가?
• RQ3 제안된 프레임워크는 국소적 또는 공간적으로 변하는 변형과 같은 비군 변환으로까지 확장 가능한가?
• RQ4 제안된 표현 학습 방법은 감독 기반 학습에서 샘플 복잡도를 어떻게 감소시키는가?
• RQ5 제안된 아키텍처의 생물학적 타당성은 특히 시각 피질과 Hubel-Wiesel 세포 모델과 어떻게 관련되는가?

주요 결과

• 컴 pact 군에 대한 비선형 군 평균은 군 작용 하에서 증명 가능한 불변성과 선택성을 갖는 표현을 생성한다.
• 선택성은 한 차원의 사영을 통해 측도를 특성화하는 확률적 정리들을 활용하여 확립된다.
• 불변성 조건을 약간 완화하여 근사 불변성으로 전환함으로써, 국소 변환으로의 일반화가 가능하며, 이 조건은 압축 감지 이질성과 유사하다.
• 일관된 비선형성을 적용한 풀링 연산은 불변성을 유지하며, 복합 세포 간 다양한 비선형성은 선택성을 향상시킬 수 있다.
• 이론은 수상한 학습을 통한 차원 축소 메커니즘을 생물학적으로 타당하게 제공하며, 수상한 가지에서 주성분에 맞추어 조정된다.
• 이 방법은 대규모 레이블 데이터가 필요한 감독 학습에서 작은 샘플 복잡도로 비지도 표현 학습으로의 전환을 지원하며, 인간과 유사한 학습 효율성과 일치한다.