[논문 리뷰] Lifelong Person Re-Identification via Adaptive Knowledge Accumulation

Nan Pu, Wei Chen외 3명|arXiv (Cornell University)|2021. 03. 23.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 9

한 줄 요약

이 논문은 새로운 과제인 라이프플랑 프로젝트 재식별(Lifelong Person Re-Identification, LReID)을 소개한다. 이 과제는 모델이 시간이 지남에 따라 서로 겹치지 않는 여러 도메인으로부터 점진적으로 학습하면서도 미리 보지 않은 도메인으로도 일반화할 수 있도록 요구한다. 저자들은 치명적인 잊음(catastrophic forgetting)을 완화하고 제로샷 일반화 성능을 향상시키기 위해 유연성과 안정성 손실를 갖춘 학습 가능한 지식 그래프를 사용하는 적응형 지식 축적(Adaptive Knowledge Accumulation, AKA) 프레임워크를 제안한다. 이 프레임워크는 미리 보지 않은 도메인에서 44.3% mAP의 성능을 기록하여 기준 방법 대비 5.8% 높은 성능을 달성한다.

ABSTRACT

Person ReID methods always learn through a stationary domain that is fixed by the choice of a given dataset. In many contexts (e.g., lifelong learning), those methods are ineffective because the domain is continually changing in which case incremental learning over multiple domains is required potentially. In this work we explore a new and challenging ReID task, namely lifelong person re-identification (LReID), which enables to learn continuously across multiple domains and even generalise on new and unseen domains. Following the cognitive processes in the human brain, we design an Adaptive Knowledge Accumulation (AKA) framework that is endowed with two crucial abilities: knowledge representation and knowledge operation. Our method alleviates catastrophic forgetting on seen domains and demonstrates the ability to generalize to unseen domains. Correspondingly, we also provide a new and large-scale benchmark for LReID. Extensive experiments demonstrate our method outperforms other competitors by a margin of 5.8% mAP in generalising evaluation.

연구 동기 및 목표

• 시간이 지남에 따라 새로운 미리 보지 않은 도메인의 데이터 스트림이 지속적으로 유입되는 동적인 실세계 환경에서 지속적인 프로젝트 재식별 문제에 대응한다.
• 고정된, 정적 학습 분포를 가정하는 기존의 ReID 방법의 한계를 극복한다.
• 이전에 본 바 없는 도메인으로도 일반화할 수 있도록 모델을 설계하고, 이전에 학습한 지식을 유지할 수 있도록 한다.
• 미래의 연구를 지원하기 위해 라이프플랑 ReID를 위한 벤치마크와 평가 프로토콜을 개발한다.

제안 방법

• 이전 도메인의 지식을 이전할 수 있도록 노드가 사람 신원 간 관계를 나타내고, 엣지가 미니배치 내에서 외형 유사도를 코딩하는 지식 그래프(KG)를 설계한다.
• 기존의 지식 표현과 현재의 지식 표현 간의 교차 그래프 연결을 통해 그래프 컬러네이션 네트워크(GCNs)를 활용해 도메인 간 지식을 전파하고 갱신한다.
• 이전 도메인의 지식을 새로운 데이터에 대한 표현 학습 향상에 기여하도록 유도하기 위해 탄성 손실(plasticity loss)을 도입한다.
• 기존에 학습한 지식을 유지하고 점진적 학습 중 치명적인 잊음 현상을 줄이기 위해 안정성 손실(stability loss)을 통합한다.
• 지식 그래프 갱신 과정에서 기울기 분리 메커니즘을 적용하여 학습을 안정화하고 오류 전파를 방지한다.
• 탄성 손실과 안정성 손실의 가중 조합을 최적화하여 볼륨된 도메인과 새로운 도메인에서의 성능 균형을 확보한다. 하이퍼파라미터는 검증을 통해 조정되어 성능 최적화를 이룬다.

실험 결과

연구 질문

• RQ1 모델은 서로 겹치지 않는 도메인의 시퀀스에서 학습하면서도 이전에 본 도메인의 성능을 유지할 수 있는가?
• RQ2 학습 기간 동안 존재하지 않은 완전히 새로운 도메인으로의 일반화 능력은 어느 정도까지 가능한가?
• RQ3 이전 도메인의 지식는 어떻게 적응적으로 표현되고 새로운 도메인 학습에 기여하는가?
• RQ4 라이프플랑 ReID 환경에서 탄성(새로운 지식 학습)과 안정성(이전 지식 유지)을 균형 있게 유지하는 데 가장 효과적인 손실 구성 요소는 무엇인가?

주요 결과

• AKA 프레임워크는 본 도메인에서 31.8% mAP, 새로운 도메인에서 44.3% mAP를 기록하여 일반화 평가에서 모든 기준 방법보다 5.8% 높은 성능을 달성한다.
• 제거 실험 결과, 탄성 손실과 안정성 손실 모두 필수적임을 확인했다. 안정성 손실을 제거할 경우 심각한 지식 상실이 발생하고, 탄성 손실을 제거할 경우 새로운 도메인에서의 일반화 성능이 저하된다.
• 두 손실이 모두 포함된 완전한 AKA 모델은 새로운 도메인에서 44.3% mAP를 기록하여 강력한 제로샷 일반화 능력을 입증한다.
• 지식 그래프 모듈은 성능 향상에 기여하며, LwF 기준 대비 mAP 6% 향상과 함께 지식 상실 감소 효과를 보였다.
• 하이퍼파라미터 분석 결과 최적의 성능는 λp = 1 및 λs = 5×10⁻⁴에서 달성되었고, Nᴷ = 64는 메모리 소비와 성능 간의 양호한 균형을 제공한다.
• 시각화 결과 기울기 분리가 지식 표현 학습을 안정화시키며, 원본 특징과 추출된 특징 간 일관성 있는 유사도를 유지함을 확인했다.