[논문 리뷰] Discriminability Distillation in Group Representation Learning

Manyuan Zhang, Guanglu Song외 2명|arXiv (Cornell University)|2020. 08. 25.

Video Surveillance and Tracking Methods참고 문헌 76인용 수 4

한 줄 요약

이 논문은 임베딩된 클래스 중심점에서 사전 훈련된 모델로부터 분류 가능도 점수를 흡수하여 군집 표현 학습을 향상시키는 경량 후처리 방법인 분류 가능도 흡수 학습(Discriminability Distillation Learning, DDL)을 제안한다. 내부 클래스 거리 대 하드 음성 간 최대 이질성 거리의 비율로 측정되는 높은 분류 가능도를 가진 요소를 식별함으로써 DDL은 효율적이고 해석 가능한 특징 집합을 가능하게 하며, 최소한의 계산 부담으로 얼굴 인식, 인물 재식별, 동작 인식 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning group representation is a commonly concerned issue in tasks where the basic unit is a group, set, or sequence. Previously, the research community tries to tackle it by aggregating the elements in a group based on an indicator either defined by humans such as the quality and saliency, or generated by a black box such as the attention score. This article provides a more essential and explicable view. We claim the most significant indicator to show whether the group representation can be benefited from one of its element is not the quality or an inexplicable score, but the discriminability w.r.t. the model. We explicitly design the discrimiability using embedded class centroids on a proxy set. We show the discrimiability knowledge has good properties that can be distilled by a light-weight distillation network and can be generalized on the unseen target set. The whole procedure is denoted as discriminability distillation learning (DDL). The proposed DDL can be flexibly plugged into many group-based recognition tasks without influencing the original training procedures. Comprehensive experiments on various tasks have proven the effectiveness of DDL for both accuracy and efficiency. Moreover, it pushes forward the state-of-the-art results on these tasks by an impressive margin.

연구 동기 및 목표

• 주의 또는 품질 점수에 의존하는 기존 군집 표현 학습 방법에서의 해석 가능성 부족과 효율성 문제를 해결하기 위해.
• 군집 내 대표 요소를 선택하는 데 더 근본적이고 해석 가능한 지표를 식별하기 위해.
• 기본 모델을 재훈련하지 않고도 분류 가능도를 효율적으로 추정할 수 있는 경량 흡수 네트워크를 개발하기 위해.
• 세트 간 얼굴 인식, 영상 기반 인물 재식별, 동작 인식과 같은 군집 기반 작업에서 정확도와 계산 효율성을 향상시키기 위해.
• 기존 네트워크를 수정하지 않고도 새로운 데이터 분포로의 일반화를 가능하게 하기 위해 분류 가능도 지식을 전이할 수 있도록 하기 위해.

제안 방법

• 사전 훈련된 모델의 임베딩을 사용하여, 요소의 거리 대 클래스 중심점과 가장 가까운 하드 음성 중심점 사이의 거리 비율로 분류 가능도를 정의한다.
• 원본 입력 이미지에서 정규화된 분류 가능도 점수를 추정하는 경량 분류 가능도 흡수 네트워크(DDNet)를 훈련시킨다.
• 추론 중에 DDNet을 적용하여 군집 내 모든 요소의 점수를 매기고, 이 분류 가능도 가중치를 사용해 특징을 집계한다.
• 성능을 유지하면서 계산 비용을 줄이기 위해 높은 분류 가능도 요소만 선택하는 필터링 전략을 도입한다.
• 영상 기반 응용을 위해 2D 합성곱을 3D 합성곱으로 교체함으로써 동일한 DDNet 아키텍처를 다양한 작업에 적용한다.
• 기본 네트워크를 재훈련할 필요 없이 플러그인 모듈로 통합 가능하므로 유연성과 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 내부 및 외부 클래스 거리에 기반한 분류 가능도가 주의 메커니즘 또는 품질 점수보다 군집 표현 학습에 더 해석 가능하고 효과적인 지표가 될 수 있는가?
• RQ2 기본 모델을 재훈련하지 않고도 원본 입력에서 경량 흡수 네트워크가 분류 가능도 점수를 정확하고 효율적으로 추정할 수 있는가?
• RQ3 흡수된 분류 가능도 지식이 새로운 데이터 분포와 다양한 군집 기반 인식 작업에 잘 일반화되는가?
• RQ4 DDL은 영상 기반 인물 재식별 및 동작 인식과 같은 작업에서 정확도를 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ5 비정제 및 정제된 영상 데이터셋에서 DDL이 밀집 샘플링, 무작위 샘플링, 균일 샘플링과 비교해 정확도와 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• DDL은 평균 풀링 대비 mAP를 3.6% 향상시키며, 세트 간 얼굴 인식에서 주의 메커니즘과 RNN 기반 집계 방식을 모두 능가했다.
• Mars 데이터셋에서 DDL은 mAP 77.7%와 CMC-1 84.0%를 기록했으며, 이는 이전 최고 기록보다 mAP 1.0%p, CMC-1 2.2%p 향상된 성능이었다.
• ActivityNet-1.2에서 DDL은 9개 클립으로만 무작위 또는 균일 샘플링 대비 4%의 정확도 향상을 달성했고, 밀집 샘플링(5배 더 많은 클립)보다도 2.49% 높은 성능을 보였다.
• Kinetics-700에서 DDL은 무작위 샘플링 대비 1.84% 정확도 향상, 균일 샘플링 대비 2.18% 향상했으며, 밀집 샘플링 대비 6배 빠른 속도를 기록했다.
• DDNet는 기본 모델의 계산량의 일부분만 소모하여 매우 효율적이었고, 선택적 특징 추출을 통해 뚜렷한 추론 속도 향상을 이끌어냈다.
• 이 방법은 기본 네트워크를 수정하지 않고도 얼굴 인식, 인물 재식별, 동작 인식 등 다양한 작업에 잘 일반화되었으며, 성능 유지에 기여했다.