[논문 리뷰] Improving Content-Invariance in Gated Autoencoders for 2D and 3D Object Rotation

Stefan Lattner, Maarten Grachten|arXiv (Cornell University)|2017. 07. 05.

Advanced Vision and Imaging참고 문헌 19인용 수 3

한 줄 요약

이 논문은 2D 및 3D 물체 회전에 대해 내용 불변 표현을 학습하는 데에 효과적인 내용 불변성 정규화(CIR) 손실을 제안한다. 유사한 변환 유형을 가진 쌍들 사이의 교차 재구성 오차를 부트스트랩된 비지도 학습 방식으로 페널티를 주어, 재구성 성능을 훼손하지 않으면서도 매핑 코드의 불변성을 향상시킨다. 이로 인해 잠재 공간 내에서 더 견고한 유사성 추론과 개선된 클러스터링 성능을 달성한다.

ABSTRACT

Content-invariance in mapping codes learned by GAEs is a useful feature for various relation learning tasks. In this paper we show that the content-invariance of mapping codes for images of 2D and 3D rotated objects can be substantially improved by extending the standard GAE loss (symmetric reconstruction error) with a regularization term that penalizes the symmetric cross-reconstruction error. This error term involves reconstruction of pairs with mapping codes obtained from other pairs exhibiting similar transformations. Although this would principally require knowledge of the transformations exhibited by training pairs, our experiments show that a bootstrapping approach can sidestep this issue, and that the regularization term can effectively be used in an unsupervised setting.

연구 동기 및 목표

• 기존 모델이 약한 불변성을 보이는 2D 및 3D 물체 회전 작업에서 GAE의 내용 불변성을 향상시키는 것.
• 라벨이 없는 변환 유형을 요구하지 않고도 매핑 코드의 불변성을 향상시키는 정규화 방법을 개발하는 것.
• 내용 불변성 정규화가 표현 품질과 유사성 추론과 같은 후행 작업에 영향을 미치는지 평가하는 것.
• 부트스트랩 전략을 사용하여 완전히 비지도 설정에서 정규화를 적용할 수 있음을 보여주는 것.
• 정규화가 표준 GAE 재구성 성능을 떨어뜨리지 않으며, 오히려 향상시킬 수 있음을 보여주는 것.

제안 방법

• 유사한 변환 유형을 공유하는 이미지 쌍들 사이의 대칭적 교차 재구성 오차를 페널티 주는 내용 불변성 정규화(CIR) 항을 도입한다.
• 훈련 중에 진정한 변환 레이블이 없더라도 부트스트랩 방법을 사용해 변환 유사도를 추정한다.
• 표준 GAE의 대칭 재구성 손실에 CIR 항을 추가하여 재구성과 내용 불변성을 동시에 최적화한다.
• 유사한 매핑 코드를 가진 쌍들에만 CIR 항을 적용하며, 유사한 코드는 유사한 변환을 나타낸다고 가정한다.
• 훈련 중에 CIR 항의 影향을 점진적으로 증가시켜 비지도 설정에서 학습을 안정화시킨다.
• 내용과 변환 표현을 분리하기 위해 곱셈형(게이팅) 연결을 갖는 GAE 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 정규화 항이 2D 및 3D 물체 회전에 대해 GAE의 매핑 코드 내용 불변성을 향상시킬 수 있는가?
• RQ2 진정한 변환 레이블이 없이도 이러한 정규화를 비지도 설정에서 구현할 수 있는가?
• RQ3 CIR 정규화가 표현 품질과 유사성 추론과 같은 후행 작업에 모두 기여하는가?
• RQ4 CIR 정규화가 표준 GAE 재구성 손실에 간섭을 주는가 아니면 향상시키는가?
• RQ5 부트스트랩 전략을 통해 감독 없이도 정규화를 위한 변환 유사도를 효과적으로 추정할 수 있는가?

주요 결과

• CIR 정규화는 유사한 변환 쌍 간의 교차 재구성 오차를 크게 감소시켰으며, NORB 데이터셋에서 GAE+CIR 모델이 표준 GAE(2.351 대비 0.174)에서 가장 낮은 오차를 기록했다.
• MNISTr20 데이터셋에서 CIR 모델은 대칭 재구성 오차가 0.0130을 기록했고, 표준 GAE의 0.0173보다 향상된 성능를 보였다.
• CIR 모델은 매핑 코드 공간에서 더 우수한 클러스터 분리 성능를 보였으며, 상대적으로 높은 간클러스터 거리와 낮은 인클러스터 분산을 나타내어 더 나은 내용 불변성을 의미한다.
• 매핑 코드를 사용한 k-최근접 이웃 분류에서 CIR 모델은 더 높은 정확도를 달성하여 더 구분력 있고 불변성 있는 표현을 나타냈다.
• 유사성 추론의 정성적 결과에서는 GAE+CIR가 특히 180도 회전과 같은 모호한 경우에서 더 깔끔하고 정확한 변환을 생성했다.
• 서로 경쟁하는 목표에도 불구하고 CIR 정규화는 종종 표준 GAE 손실을 감소시켰으며, 재구성과 불변성 간의 상호보완적 효과를 시사했다.