[논문 리뷰] AlignNet: Unsupervised Entity Alignment

Antonia Creswell, Kyriacos Nikiforou외 9명|arXiv (Cornell University)|2020. 07. 17.

Multimodal Machine Learning Applications참고 문헌 35인용 수 8

한 줄 요약

AlignNet은 지도 학습이 필요 없는 딥 러닝 프레임워크로, 정답 레이블 없이 시간에 따라 엔티티를 정렬함으로써 영상 내 객체 대응 문제를 해결한다. 동역학 모델을 사용해 객체 상태 전이를 예측하고, 트랜스포머 기반의 순열 모듈을 통해 현재 프레임의 객체를 이전에 정렬된 객체와 매칭함으로써, 가림과 재등장 상황에서도 강인한 추적을 가능하게 한다.

ABSTRACT

Recently developed deep learning models are able to learn to segment scenes into component objects without supervision. This opens many new and exciting avenues of research, allowing agents to take objects (or entities) as inputs, rather that pixels. Unfortunately, while these models provide excellent segmentation of a single frame, they do not keep track of how objects segmented at one time-step correspond (or align) to those at a later time-step. The alignment (or correspondence) problem has impeded progress towards using object representations in downstream tasks. In this paper we take steps towards solving the alignment problem, presenting the AlignNet, an unsupervised alignment module.

연구 동기 및 목표

• 영상 시퀀스에서 시간에 따라 객체 수준의 표현을 지도 학습 없이 정렬하는 것.
• 연속 프레임 간 엔티티 간 대응을 해결함으로써 강화 학습 및 계획에서 객체 기반 학습을 가능하게 하는 것.
• 객체가 사라졌다가 다시 나타날 수 있는 부분 관찰 가능한 환경으로 정렬을 확장하는 것.
• 장기적인 가림 동안에도 지속적인 객체 정체성을 유지하는 메모리 증강 버전(Memory AlignNet)을 개발하는 것.
• 엔티티 대응을 위해 정답 레이블, 바운딩 박스 또는 특권 정보에 의존하지 않는 것.

제안 방법

• 이전에 정렬된 엔티티의 이전 상태와 액션을 기반으로 다음 상태 표현을 예측하기 위해 동역학 모델(LSTM)을 사용한다.
• 현재 프레임의 엔티티를 이전에 정렬된 엔티티의 순서와 일치시키기 위해 순열 행렬을 계산하는 트랜스포머 기반의 순열 헤드를 활용한다.
• 학습된 순열 행렬을 적용하여 현재 프레임의 객체 특징을 이전 타임스텝의 정렬된 엔티티와 정렬한다.
• 개별 객체 표현을 시간에 따라 저장하고 업데이트하는 슬롯 기반 LSTM 메모리 모듈(Memory AlignNet)을 도입한다.
• 예측된 엔티티 특징와 정렬된 특징 간의 대비 손실을 사용하여 전체 시스템을 지도 학습 없이 엔드 투 엔드로 훈련한다.
• 객체 지속성의 인덕티브 바이어스를 활용하여 각 추적 객체에 대한 역사 누적을 위한 메모리 슬롯을 유지한다.

실험 결과

연구 질문

• RQ1 정답 대응이나 바운딩 박스 없이도 비지도 모델이 시간에 따라 객체 수준의 표현을 정렬할 수 있는가?
• RQ2 유사한 외관을 가진 객체가 상호 작용하거나 가림을 겪을 때 모델이 모호한 객체 정체성을 얼마나 잘 해결할 수 있는가?
• RQ3 부분 관찰 가능한 환경에서 장기적인 가림과 재등장을 견디며 객체를 추적할 수 있는가?
• RQ4 슬롯 기반 메모리 도입이 동적 객체 인구(새로운 객체, 사라지는 객체, 재등장하는 객체 포함)가 있는 작업에서 성능 향상에 기여하는가?
• RQ5 모델의 성능가 비지도 또는 히우리스틱 기반 베이스라인과 비교해 볼 때 객체 정렬 및 동역학 예측에서 어떤가?

주요 결과

• AlignNet은 2D SpriteWorld와 3D Physical Concepts: Continuity와 같은 완전 관찰 가능한 환경에서 충돌 시 모호한 객체 정체성을 해소하기 위해 동역학을 활용함으로써 뛰어난 성능을 달성한다.
• Physical Concepts: Continuity 작업에서 AlignNet은 짧은 가림, 조명 변화, 시점 변화를 효과적으로 처리한다.
• Unity Room 환경과 Physical Concepts Free-Form 데이터셋에서 Memory AlignNet은 베이스라인보다 뚜렷하게 뛰어난 성능을 보이며, 특히 새로운 객체 등장과 재등장을 다룰 때 유의미한 개선을 보인다.
• 장기적인 가림 후에도 메모리에 지속적인 객체 표현을 유지함으로써 재등장 시 객체를 강인하게 추적함을 입증한다.
• 기존의 재식별 또는 추적 분야에서 대부분의 연구가 정답 레이블이나 바운딩 박스에 의존하는 것과 달리, 비지도 훈련 방식이 정답 레이블이나 바운딩 박스 없이도 효과적인 정렬을 가능하게 한다.
• 슬롯 기반 LSTM 메모리 메커니즘이 시간에 따라 개별 객체의 이산적이고 지속적인 표현을 성공적으로 유지하여 장기 추적을 가능하게 한다.