[논문 리뷰] Hierarchical Feature Embedding for Attribute Recognition

Jie Yang, Jiarou Fan외 5명|arXiv (Cornell University)|2020. 05. 23.

Video Surveillance and Tracking Methods참고 문헌 56인용 수 6

한 줄 요약

이 논문은 속성 수준과 신원(ID) 수준의 특징 임베딩을 공동으로 최적화함으로써 속성 인식 성능을 향상시키는 계층적 특징 임베딩(HFE) 프레임워크를 제안한다. 새로운 HFE 손실을 통해 클래스 간(속성) 및 클래스 내(ID) 제약 조건을 통합하고, 절대 경계 정규화와 동적 손실 가중치를 추가함으로써, 보행자 및 얼굴 속성 데이터셋에서 최신 기준 성능을 달성하며, 교차 엔트로피 기준 대비 정확도에서 7.98% 향상되고 F1 점수에서 5.40% 향상된다.

ABSTRACT

Attribute recognition is a crucial but challenging task due to viewpoint changes, illumination variations and appearance diversities, etc. Most of previous work only consider the attribute-level feature embedding, which might perform poorly in complicated heterogeneous conditions. To address this problem, we propose a hierarchical feature embedding (HFE) framework, which learns a fine-grained feature embedding by combining attribute and ID information. In HFE, we maintain the inter-class and intra-class feature embedding simultaneously. Not only samples with the same attribute but also samples with the same ID are gathered more closely, which could restrict the feature embedding of visually hard samples with regard to attributes and improve the robustness to variant conditions. We establish this hierarchical structure by utilizing HFE loss consisted of attribute-level and ID-level constraints. We also introduce an absolute boundary regularization and a dynamic loss weight as supplementary components to help build up the feature embedding. Experiments show that our method achieves the state-of-the-art results on two pedestrian attribute datasets and a facial attribute dataset.

연구 동기 및 목표

• 시야각 변화, 조도 변화, 가림 등 복잡한 변형 하에서 속성 인식의 과제를 해결하기 위해.
• 속성 레이블 외에 신원(ID) 정보를 활용하여 강건성과 세분화된 구분 능력을 향상시키기 위해.
• 더 나은 특징의 밀도와 분리 가능성 확보를 위해 클래스 간(속성) 및 클래스 내(ID) 클러스터링을 유지하는 계층적 특징 공간을 구축하기 위해.
• 절대 경계 정규화와 동적 손실 가중치를 통해 훈련 안정성과 특징 공간 품질을 향상시키기 위해.

제안 방법

• 클래스 간(속성) 제약 조건과 클래스 내(ID) 제약 조건을 위한 두 개의 트리플릿 손실을 조합한 계층적 특징 임베딩(HFE) 손실을 제안한다.
• 트리플릿 손실의 상대적 거리 학습을 보완하기 위해 절대 거리 제약 조건을 강제하는 절대 경계 정규화(ABR)를 도입한다.
• 훈련 중에 점진적으로 증가하는 동적 손실 가중치를 활용하여 초기 특징 공간에서 HFE 최적화된 특징 공간으로의 안내를 제공한다.
• 손실 계산을 위해 퀠티플렛 샘플링을 사용하며, 훈련 중 변화하는 특징 공간에 맞게 선택 기준을 적응시킨다.
• 속성과 신원을 위한 별도의 특징 표현을 유지하여 동일한 임베딩 공간 내에서 직접 융합을 방지한다.
• 속성 분류를 위한 교차 엔트로피 손실과 특징의 구분 능력을 향상시키기 위한 HFE 손실을 사용하여 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 신원 정보를 속성 인식에 통합하면 외관 변화와 가림 상황에서 강건성이 향상되는가?
• RQ2 속성 수준과 ID 수준 제약 조건을 통합한 계층적 특징 임베딩은 더 나은 특징의 밀도와 분리 가능성으로 이어지는가?
• RQ3 절대 경계 정규화는 표준 트리플릿 손실을 초월해 특징 공간 품질을 어떻게 향상시키는가?
• RQ4 동적 손실 가중치는 계층적 특징 학습에서 훈련 안정성과 수렴 성능을 향상시키는가?

주요 결과

• HFE 프레임워크는 두 개의 보행자 속성 데이터셋과 셀레바 얼굴 속성 데이터셋에서 최신 기준 성능을 달성하며, 셀레바에서 92.17%의 정확도를 기록한다.
• 클래스 간 및 클래스 내 제약 조건을 통합하면 평균 정확도에서 4.08% 향상되고, 상위 1위 정확도에서 7.98% 향상되며, F1 점수에서 5.40% 향상된다. 이는 교차 엔트로피 기준 대비 성능 향상이다.
• 클래스 내 손실($L_{intra}$)이 클래스 간 손실($L_{inter}$)보다 더 크게 기여함을 확인하여, 하드 샘플 처리에 있어 ID 수준의 클러스터링이 핵심임을 시사한다.
• 절대 경계 정규화(ABR)는 절대 거리 제약 조건을 강제하여 마진 분리 성능을 향상시켜 성능 향상에 기여한다.
• 동적 손실 가중치 메커니즘은 훈련을 안정화시키고 초기 특징 공간에서 최적화된 특징 공간으로의 부드러운 전이를 가능하게 한다.
• 정성적 시각화 결과 HFE는 특히 분류가 어려운 샘플에 대해 더 조밀하고 더 구분 가능한 클러스터를 생성함을 확인할 수 있다.