[논문 리뷰] Co-Attentive Equivariant Neural Networks: Focusing Equivariance On Transformations Co-Ocurring in Data

David W. Romero Guzmán, Mark Hoogendoorn|arXiv (Cornell University)|2020. 04. 30.

Human Pose and Action Recognition참고 문헌 34인용 수 7

한 줄 요약

이 논문은 데이터 내 공시되는 변환 조합에 동적으로 주목하는 공-주의 등변 신경망을 제안하며, 파rameter 효율성과 인식 성능을 향상시킨다. 모든 가능한 군 원소를 고려하는 대신 공시되는 변환 조합에 집중함으로써, 부분적 및 완전한 회전 설정에서 기존의 등변 네트워크보다 뛰어난 성능을 보인다.

ABSTRACT

Equivariance is a nice property to have as it produces much more parameter efficient neural architectures and preserves the structure of the input through the feature mapping. Even though some combinations of transformations might never appear (e.g. a face with a horizontal nose) current equivariant architectures consider the set of all possible transformations in the transformation group while generating feature representations. Contrarily, the human visual system is able to attend to the set of relevant transformations occurring in the environment as to assist and improve object recognition. Based on this observation, we modify conventional equivariant feature mappings such that they are able to attend to the set of co-occurring transformations in data. Our experiments show that neural networks utilizing co-attentive equivariant feature mappings consistently outperform those utilizing conventional ones both for fully (rotated MNIST) and partially (CIFAR-10) rotational settings.

연구 동기 및 목표

• 데이터 내 공시되지 않은 변환 조합도 고려하는 기존의 등변 네트워크의 비효율성을 해결하기 위해.
• 시각 입력에서 관련 있는 변환 조합에 인간과 유사한 주목을 하여 개선된 객체 인식을 달성하기 위해.
• 데이터 내에서 함께 존재하는 변환을 학습하는 신경망 아키텍처를 개발하여 특징 표현 학습을 향상시키기 위해.
• 실제 데이터에서 공시되는 변환 집합에만 등변성을 제한함으로써 일반화 능력과 파rameter 효율성을 향상시키기 위해.

제안 방법

• 입력 데이터 내에서 공시되는 변환 조합에 주목하는 데 초점을 맞춘 공-주의 메커니즘을 도입한다.
• 표준 등변 특징 매핑을 수정하여 전체 변환 군이 아닌 주목된 변환 집합에 조건화하도록 한다.
• 학습 가능한 주목 가중치를 사용하여 특징 추출 중에 관련 있는 변환 조합을 동적으로 선택한다.
• 변환 군 원소 위에 주목 메커니즘을 적용하여 훈련 데이터에서 함께 나타나는 변환에만 집중한다.
• 주목된 변환 집합을 등변 메시지 전달 메커니즘에 통합하여 변환 인식 특징을 생성한다.
• 표준 역전파를 사용하여 엔드 투 엔드로 모델을 훈련시키며, 주목과 특징 학습을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 데이터 내 공시되는 변환에 집중함으로써 등변 신경망의 성능 향상이 가능할 수 있는가?
• RQ2 변환 집합에 대한 주목이 등변 모델의 일반화 능력과 파rameter 효율성에 어떤 영향을 미치는가?
• RQ3 공-주의 등변성은 부분적 또는 완전한 회전 불변성 데이터셋에서 더 높은 성능을 낼 수 있는가?
• RQ4 모델의 주목 메커니즘이 인간의 시각 주목과 변환 조합에 대해 어떻게 일치하는가?
• RQ5 제안된 방법이 모든 군 원소를 동일하게 취급하는 표준 등변 네트워크를 초월할 수 있는가?

주요 결과

• 제안된 공-주의 등변 네트워크는 부분적 및 완전한 회전 설정에서 기존의 등변 네트워크보다 일관된 성능 향상을 달성한다.
• 부분적 회전이 있는 CIFAR-10에서, 모델는 표준 등변 기준선을 능가하며, 불완전한 변환 집합에 대한 강건성을 입증한다.
• 주목 메커니즘이 데이터 내에서 공시되는 관련 있는 변환 조합을 성공적으로 식별하고 집중한다.
• 의미 있는 변환 군에 집중된 등변성 덕분에 더 적은 효과적인 파rameter로 더 나은 일반화를 달성한다.
• 실험 결과는 모든 군 원소를 동일하게 취급하는 것보다 공시되는 변환에 주목함으로써 더 효율적이고 정확한 특징 표현이 가능하다는 것을 확인한다.