[논문 리뷰] Towards Backward-Compatible Representation Learning

Yantao Shen, Yuanjun Xiong외 2명|arXiv (Cornell University)|2020. 03. 26.

Face recognition and analysis참고 문헌 44인용 수 5

한 줄 요약

이 논문은 아키텍처, 손실 함수 또는 차원 수가 다를 경우에도 이전에 계산된 특징과 호환성을 유지할 수 있는 시각적 임bedding을 학습하는 데 목적이 있는 후행 호환성 학습(BCT)을 제안한다. 기존 모델의 분류기 가중치를 정규화 항으로 활용함으로써, 새로운 모델 학습 중에 이전 모델의 예측과 유사하게 작동하도록 유도함으로써, 새로운 임베딩과 이전 임베딩 간의 직접 비교를 가능하게 하여, 백필링(backfilling)이 필요 없고 정확도 손실 없이도 모델 업데이트를 수행할 수 있다.

ABSTRACT

We propose a way to learn visual features that are compatible with previously computed ones even when they have different dimensions and are learned via different neural network architectures and loss functions. Compatible means that, if such features are used to compare images, then "new" features can be compared directly to "old" features, so they can be used interchangeably. This enables visual search systems to bypass computing new features for all previously seen images when updating the embedding models, a process known as backfilling. Backward compatibility is critical to quickly deploy new embedding models that leverage ever-growing large-scale training datasets and improvements in deep learning architectures and training methods. We propose a framework to train embedding models, called backward-compatible training (BCT), as a first step towards backward compatible representation learning. In experiments on learning embeddings for face recognition, models trained with BCT successfully achieve backward compatibility without sacrificing accuracy, thus enabling backfill-free model updates of visual embeddings.

연구 동기 및 목표

• 임베딩 모델을 업데이트할 때 백필링으로 인해 발생하는 확장성 문제를 해결하기 위해.
• 열린 집합 인식 환경에서 개선된 모델의 지속적 배포를 위해 후행 호환성 표현 학습을 체계화하는 것.
• 새로운 임베딩이 아키텍처나 손실 함수의 차이에도 불구하고 이전 임베딩과 직접 비교 가능하도록 보장하는 학습 프레임워크를 개발하는 것.
• 대규모 시각 검색 시스템에서 백필링 없이 모델 업데이트를 가능하게 하여 계산 비용과 배포 지연을 줄이는 것.
• 사슬 형태의 BCT 학습을 통해 다수의 모델 버전 간의 이행적 호환성(transitive compatibility)을 달성하는 것.

제안 방법

• 기존 임베딩 모델의 분류기 가중치를 정규화 항으로 사용하는 영향 손실(influence loss)를 도입하여 신규 모델 학습 중에 활용한다.
• 신규 모델이 기존 모델의 분류기 예측과 일치하도록 학습시켜, 임베딩 공간 내에서의 호환성을 확보한다.
• 기존 모델의 분류기를 프록시로 활용하여 신규 모델의 특징 학습을 이끌며, 차원 수가 일치하지 않아도 호환성을 유지한다.
• BCT를 사슬 구조로 적용: 모델 1을 기반으로 모델 2를 BCT로 학습한 후, 모델 2를 기반으로 모델 3을 BCT로 학습함으로써 이행적 호환성을 달성한다.
• 필요한 경우 특징 차원을 맞추기 위해 선형 투영 레이어를 사용하지만, 차원 수가 일치하지 않아도 직접적인 호환성이 확보된다.
• IJB-C 및 Market-1501과 같은 벤치마크 데이터셋에서 1:1 검증 및 평균 평균 정확도(mAP)를 통해 호환성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 아키텍처와 손실 함수가 다를 경우에도 새로운 시각적 임베딩 모델이 이전에 계산된 임베딩과 직접 비교 가능하게 학습시킬 수 있는가?
• RQ2 정확도를 저하시키지 않으면서 후행 호환성은 어느 정도 달성할 수 있는가?
• RQ3 순차적 학습을 통해 다수의 모델 버전 간 후행 호환성을 확장할 수 있는가?
• RQ4 손실 함수 유형이나 활성화 함수와 같은 요소들이 후행 호환성을 약화시키는 원인이 되는가? 이러한 요소들은 어떻게 완화할 수 있는가?
• RQ5 BCT는 학습 데이터 크기, 모델 아키텍처, 임베딩 차원 수의 변화에 대해 강건한가?

주요 결과

• BCT는 최소한의 정확도 손실로 후행 호환성 표현 학습을 가능하게 하였으며, IJB-C에서 기존 모델과 새로운 모델 간 비교 시 평균 mAP가 45.0%를 기록하여 BCT 없이 학습한 경우의 26.7%보다 높게 유지되었다.
• BCT로 학습된 새로운 모델은 Market-1501에서 60.1%의 mAP를 달성하여, 후행 호환성이 없는 모델와 동일한 성능을 보였으며, 정확도 손실이 없음을 입증하였다.
• 이행적 호환성이 달성됨: 이전 버전의 모델을 기반으로 BCT로 학습된 모델는 직접 학습하지 않더라도 이전의 더 오래된 모델과도 호환성 유지 가능함.
• 아키텍처, 손실 함수, 데이터 스케일 등 다양한 요소의 변화에 대해 BCT가 효과적으로 호환성을 유지함을 아블레이션 연구를 통해 입증함.
• Cosine Margin Loss를 사용하면서 Softmax 손실과 함께 사용하거나 ReLU 활성화 함수를 추가할 경우 실패 케이스가 발생함을 확인하여, 분포 이탈이 호환성을 해칠 수 있음을 시사함.
• 이 방법은 시각 검색 시스템에서 백필링이 필요 없게 하여, 대규모 검색 응용 프로그램에서 백필링 없는 모델 업데이트를 가능하게 하였다.