[논문 리뷰] Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Occurring In Data

David W. Romero, Mark Hoogendoorn|arXiv (Cornell University)|2019. 11. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 36인용 수 17

한 줄 요약

이 논문은 데이터 내 공시되는 변환(예: 특정 회전)에 동적으로 주목하는 공-주의 등변 신경망을 제안한다. 이는 모든 군 원소에 대해 등변성을 강제하는 대신, 공시되는 변환에만 주목한다. 군 컨볼루션 특징 매핑에 순환 자기주의를 통합함으로써, 모델은 회전된 MNIST와 CIFAR-10에서 성능을 향상시키면서도 등변성을 유지하며, 표준 회전 및 회전+반사 등변 네트워크를 능가한다.

ABSTRACT

Equivariance is a nice property to have as it produces much more parameter efficient neural architectures and preserves the structure of the input through the feature mapping. Even though some combinations of transformations might never appear (e.g. an upright face with a horizontal nose), current equivariant architectures consider the set of all possible transformations in a transformation group when learning feature representations. Contrarily, the human visual system is able to attend to the set of relevant transformations occurring in the environment and utilizes this information to assist and improve object recognition. Based on this observation, we modify conventional equivariant feature mappings such that they are able to attend to the set of co-occurring transformations in data and generalize this notion to act on groups consisting of multiple symmetries. We show that our proposed co-attentive equivariant neural networks consistently outperform conventional rotation equivariant and rotation & reflection equivariant neural networks on rotated MNIST and CIFAR-10.

연구 동기 및 목표

• 모든 군 원소에 대해 등변성을 강제하는 전통적 등변 네트워크의 비효율성—특히 데이터에서 이러한 변환이 거의 공시되지 않는 경우—를 해결하기 위해.
• 실제 세계 데이터에서 공시되는 변환 집합에만 주목함으로써 인간의 시각 인식과 유사한 모델링을 통해 정확도와 파라미터 효율성을 향상시키기 위해.
• 등변성을 유지하면서도 데이터의 공시 범위 내에서 관련 있는 변환에만 집중할 수 있는 주의 메커니즘을 개발하기 위해.
• 균일한 군 작용을 초월해, 주의를 통해 데이터 기반의 변환 선택을 통합함으로써 등변 딥 러닝을 확장하기 위해.

제안 방법

• 군 컨볼루션의 공역 내 공간 위치에 대해 순환 자기주의를 적용하는 공-주의 등변 특징 매핑을 제안한다.
• 순환 등변 자기주의를 도입하여, 군 작용에 의해 유도되는 순환 치환에 국한해 주목함으로써 등변성을 유지한다.
• 표준 군 컨볼루션 네트워크를 수정하여 주의 헤드가 훈련 데이터에서 실제로 공시되는 변환에만 주목할 수 있도록 하며, 이를 공시 범위로 구성한다.
• 학습 가능한 주의 메커니즘을 활용하여, 국소적 맥락에서 변환의 공시 가능성에 기반해 특징 맵에 동적으로 가중치를 적용한다.
• 변환이 특징 맵에 순환 치환 방식으로 작용하는 군 작용 프레임워크를 사용하여, 주의 메커니즘이 등변성을 유지할 수 있도록 한다.
• 모든 네트워크 유형에 동일한 초모수(예: 학습률 0.01, 입력을 99번째 백분위수로 클리핑)를 적용하여 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 등변성을 해치지 않으면서도, 데이터 내 공시되는 변환에만 집중할 수 있는 주의 메커니즘을 설계할 수 있는가?
• RQ2 단지 공시 범위 내의 변환에만 주목하는 것이 전체 군 등변성을 강제하는 것보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 제안된 방법은 벤치마크 데이터셋에서 표준 회전 및 회전+반사 등변 네트워크와 비교해 어떻게 성능을 냈는가?
• RQ4 제안된 방법은 완전 회전 및 부분 회전 설정 모두에서 훈련을 안정화시키면서도 높은 성능을 유지할 수 있는가?

주요 결과

• 공-주의 등변 네트워크(DREN)는 회전된 MNIST와 CIFAR-10에서 기존의 회전 등변 및 회전+반사 등변 네트워크를 모두 능가한다.
• 완전 회전 설정(회전된 MNIST)과 부분 회전 설정(CIFAR-10) 양쪽 모두에서 일관된 성능 향상을 달성한다.
• 훈련 발산에 더 민감할 수 있음에도 불구하고, 적절한 초모수 조정(학습률 감소 및 입력 클리핑 포함)을 통해 공-주의 접근 방식은 안정화된다.
• 순환 자기주의 메커니즘이 등변성을 성공적으로 유지하면서도 관련 있는 변환에 대한 데이터 기반 주의를 가능하게 하여 특징 표현을 향상시켰다.
• 결과는 공시 범위 가설을 지지한다: 자주 공시되는 변환에 집중함으로써, 희귀하거나 관련 없는 변환에 과적합되지 않으면서도 인식 성능을 향상시킬 수 있다.