[논문 리뷰] On the effect of pooling on the geometry of representations

Gary Bécigneul|arXiv (Cornell University)|2017. 03. 20.

Digital Image Processing Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 I-이론 내에서 미분기하학을 활용하여, 군 변환에 대한 풀링이 학습된 표현의 거리 구조를 수축시키고 곡률을 감소시킴으로써 표현의 분리성(disentanglement)을 어떻게 촉진하는지 기하학적 설명을 제시한다. 주요 기여는 거리 수축에 대한 정량적 경계를 제시함으로써, 불변성(invariance)이 표현 기하학을 향상시키는 방식을 연결한다.

ABSTRACT

In machine learning and neuroscience, certain computational structures and algorithms are known to yield disentangled representations without us understanding why, the most striking examples being perhaps convolutional neural networks and the ventral stream of the visual cortex in humans and primates. As for the latter, it was conjectured that representations may be disentangled by being flattened progressively and at a local scale. An attempt at a formalization of the role of invariance in learning representations was made recently, being referred to as I-theory. In this framework and using the language of differential geometry, we show that pooling over a group of transformations of the input contracts the metric and reduces its curvature, and provide quantitative bounds, in the aim of moving towards a theoretical understanding on how to disentangle representations.

연구 동기 및 목표

• 딥 러닝 네트워크와 영장류 복측 경로에서 풀링이 분리된 표현을 유도하는 이유를 이해하기 위해, 이론적 기반의 제한성에도 불구하고 이를 설명하는 것.
• 미분기하학과 I-이론을 사용하여 표현 학습에서 불변성의 역할을 형식화하는 것.
• 군 변환에 대한 풀링이 표현 공간의 거리 구조와 곡률에 어떤 영향을 미치는지 정량적으로 분석하는 것.
• 풀링으로 인한 거리 수축과 곡률 감소에 대한 이론적 경계를 제시하여 분리성의 기하학적 이론을 발전시키는 것.

제안 방법

• I-이론의 프레임워크를 사용하여 입력 공간에서 군 궤도에 대한 평균화로 풀링을 형식화한다.
• 표현을 리만다이안 다양체로 모델링하고, 풀링이 유도하는 계량 텐서에 미치는 영향을 분석한다.
• 미분기하 기법을 사용하여 풀링 이후 거리와 곡률의 변화에 대한 분석적 표현을 유도한다.
• 이론을 이동과 회전과 같은 군 작용에 적용하여 계량 텐서의 수축을 보여준다.
• 곡률 경계를 사용하여 풀링이 표현 공간의 기하학적 복잡성을 어떻게 줄이는지 정량화한다.
• 계량 수축이 영장류 시각 경로의 점진적 평탄화와 관련이 있음을 연결하여 생물학적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 군 변환에 대한 풀링은 딥 러닝 네트워크의 학습된 표현 공간의 거리 구조에 어떻게 영향을 미치는가?
• RQ2 풀링은 표현 다양체의 곡률을 어느 정도 감소시키며, 이를 어떻게 정량화할 수 있는가?
• RQ3 풀링의 기하학적 영향을 미분기하학과 I-이론을 사용하여 형식화할 수 있으며, 이는 분리성을 설명하는 데 기여하는가?
• RQ4 불변성, 거리 수축, 표현의 분리성 사이의 관계는 무엇인가?
• RQ5 이러한 표현 공간의 기하학적 변화는 영장류 복측 경로에서 관찰되는 계층적 처리 방식과 어떻게 일치하는가?

주요 결과

• 군 궤도에 대한 풀링은 표현 공간의 리만다이안 계량을 수축시켜 유사한 특징 간의 효과적 거리를 줄인다.
• 풀링 이후 표현 다양체의 곡률이 체계적으로 감소하여 더 평탄하고 더 구조화된 기하학을 나타낸다.
• 정량적 경계를 도출하여 거리 수축 계수는 군 작용과 입력 특징의 분포에 따라 달라짐을 보여준다.
• 곡률 감소는 표현이 선형 분離에 더 적합해지며, 이는 분리성의 지원을 의미한다.
• 풀링의 기하학적 영향은 V1에서 IT 피질에 이르는 영장류 시각 경로에서 관찰되는 점진적 평탄화와 불변성과 일치한다.
• 결과적으로, 풀링이 분리된 표현을 유도하는 이유에 대한 이론적 기반을 제공하며, 명시적 지도 없이도 성립함을 시사한다.