[논문 리뷰] Symmetry and Group in Attribute-Object Compositions

Yong–Lu Li, Yue Xu외 2명|arXiv (Cornell University)|2020. 04. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 속성-객체 조합에서 대칭성을 기본 원리로 도입하며, 군 이론을 영감으로 삼은 SymNet—끝에서 끝까지 학습하는 동안 대칭성, 닫힘, 결합법칙, 항등원, 역원성을 강제하는 프레임워크—를 제안한다. 상대 이동 거리(RMD)를 사용하여 불안정한 시각적 패턴이 아닌 변환에 대한 내성에 기반해 속성을 분류함으로써, 조합적 제로샷 학습에서 최고 성능을 달성한다.

ABSTRACT

Attributes and objects can compose diverse compositions. To model the compositional nature of these general concepts, it is a good choice to learn them through transformations, such as coupling and decoupling. However, complex transformations need to satisfy specific principles to guarantee the rationality. In this paper, we first propose a previously ignored principle of attribute-object transformation: Symmetry. For example, coupling peeled-apple with attribute peeled should result in peeled-apple, and decoupling peeled from apple should still output apple. Incorporating the symmetry principle, a transformation framework inspired by group theory is built, i.e. SymNet. SymNet consists of two modules, Coupling Network and Decoupling Network. With the group axioms and symmetry property as objectives, we adopt Deep Neural Networks to implement SymNet and train it in an end-to-end paradigm. Moreover, we propose a Relative Moving Distance (RMD) based recognition method to utilize the attribute change instead of the attribute pattern itself to classify attributes. Our symmetry learning can be utilized for the Compositional Zero-Shot Learning task and outperforms the state-of-the-art on widely-used benchmarks. Code is available at https://github.com/DirtyHarryLYL/SymNet.

연구 동기 및 목표

• 속성-객체 변환에서 이전에 간과되었던 원리로 대칭성을 식별하고 형식화하는 것.
• 군 공리와 대칭성을 강제하는 통합된 딥러닝 프레임워크를 개발하는 것.
• 잠재 공간 내의 변환 불변성과 상대 이동을 활용하여 조합적 제로샷 학습을 향상시키는 것.
• 분류에 취약한 시각적 속성 패턴에 의존하는 것 대신, 강력한 속성 변화 역학을 활용하여 분류 성능을 향상시키는 것.

제안 방법

• SymNet는 속성을 추가하는 데 사용되는 커플링 네트워크(CoN)와 제거하는 데 사용되는 디커플링 네트워크(DecoN)의 두 하위 네트워크를 사용한다.
• 프레임워크는 끝에서 끝까지 학습하는 동안 전용 손실 함수를 통해 군 공리—닫힘, 결합법칙, 항등원, 역원성—을 강제한다.
• 대칭성은 핵심 목표로 통합된다: 이미 속성을 가진 객체에 속성을 추가하거나, 속성이 없는 객체에서 속성을 제거할 경우 객체는 변화하지 않아야 한다.
• 새로운 상대 이동 거리(RMD) 메트릭은 입력과 변환된 임베딩 간의 거리를 계산하여 속성의 존재 여부를 추론한다.
• RMD 메커니즘은 '추가' 및 '제거' 연산 후의 거리를 비교한다: 입력에 더 가까운 출력은 해당 속성이 존재함을 나타낸다.
• 어텐션 메커니즘이 특징 표현을 향상시키며, L2 거리가 RMD 계산의 주요 메트릭으로 사용된다.

실험 결과

연구 질문

• RQ1 대칭성을 속성-객체 조합의 기초 원리로 형식화할 수 있는가? 이를 통해 중복된 변환에 대해 불변성을 확보할 수 있는가?
• RQ2 군 이론을 어떻게 적용하여, 미분 가능하고 끝에서 끝까지 학습 가능한 딥러닝 프레임워크를 설계할 수 있는가?
• RQ3 시각적 외관이 아닌 변환 역학에 초점을 맞춘 RMD 기반의 속성 인식이 전통적인 패턴 기반 방법보다 우월한가?
• RQ4 군 공리와 대칭성을 강제함으로써 조합적 제로샷 학습에서 일반화 성능이 얼마나 향상되는가?
• RQ5 제안된 방법이 MIT-States 및 UT-Zappos와 같은 다양한 벤치마크에서 일반화되는가?

주요 결과

• SymNet는 조합적 제로샷 학습 벤치마크에서 최고 성능을 달성했으며, UT-Zappos에서 52.1%의 top-1 정확도와 MIT-States에서 19.9%를 기록했다.
• 대칭성 손실(L_sym)을 제거하면 UT-Zappos에서 1.6% 감소하고, MIT-States에서도 1.6% 감소하여 그 핵심적인 역할을 확인했다.
• 제거 실험 결과, 분류 손실(L_cls)을 제거할 경우 가장 심각한 성능 저하가 발생하여, UT-Zappos에서 top-1 정확도가 28.7%로 떨어졌으며, 공동 최적화의 중요성을 시사한다.
• RMD에서 L2 거리 대신 L1 또는 코사인 거리를 사용할 경우 성능이 크게 악화되었으며, L1을 사용할 경우 UT-Zappos에서 top-1 정확도가 37.5%로 떨어졌다.
• t-SNE를 통한 시각화 결과, 학습된 임베딩 공간에서 모든 군 공리—닫힘, 역원성, 교환법칙—이 잘 충족됨을 확인했다.
• 대칭성 속성이 견고하게 학습되었다: 속성이 있는 객체는 '추가' 시에 최소한의 이동을 보이며, '제거' 시에 큰 이동을 보이며, 반대로 속성이 없는 객체는 반대의 패턴을 보였다.