[논문 리뷰] Neural Relation Graph: A Unified Framework for Identifying Label Noise and Outlier Data

Jang-Hyun Kim, Sangdoo Yun외 1명|arXiv (Cornell University)|2023. 01. 29.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 딥 페처 임bedding 내의 관계 구조를 모델링하여 레이블 노이즈와 아웃라이어 데이터를 동시에 탐지하는 통합 프레임워크인 Neural Relation Graph를 제안한다. 유사도 및 호환성 점수를 사용하여 데이터 관계 그래프를 구성함으로써, ImageNet, ESC-50, SST2에서 최신 기법들을 초월하며, 확장 가능하고 모델에 종속되지 않는 알고리즘과 상호작용 가능한 시각화 툴을 통해 레이블 오류 및 OOD 탐지에서 SOTA 성능을 달성한다.

ABSTRACT

Diagnosing and cleaning data is a crucial step for building robust machine learning systems. However, identifying problems within large-scale datasets with real-world distributions is challenging due to the presence of complex issues such as label errors, under-representation, and outliers. In this paper, we propose a unified approach for identifying the problematic data by utilizing a largely ignored source of information: a relational structure of data in the feature-embedded space. To this end, we present scalable and effective algorithms for detecting label errors and outlier data based on the relational graph structure of data. We further introduce a visualization tool that provides contextual information of a data point in the feature-embedded space, serving as an effective tool for interactively diagnosing data. We evaluate the label error and outlier/out-of-distribution (OOD) detection performances of our approach on the large-scale image, speech, and language domain tasks, including ImageNet, ESC-50, and SST2. Our approach achieves state-of-the-art detection performance on all tasks considered and demonstrates its effectiveness in debugging large-scale real-world datasets across various domains. We release codes at https://github.com/snu-mllab/Neural-Relation-Graph.

연구 동기 및 목표

• 복잡하고 겹치는 문제를 동반한 대규모 실세계 데이터셋에서 레이블 노이즈와 아웃라이어 데이터를 식별하는 데 도전하는 것.
• 단일 점수 기반 방법이 레이블 오류와 데이터 아웃라이어를 구분하지 못하는 한계를 극복하는 것.
• 레이블 오류와 분포 외 데이터(OOD)를 동시에 탐지하기 위한 확장 가능하고 모델 및 도메인에 종속되지 않는 프레임워크를 개발하는 것.
• 사용자 중심의 데이터 진단을 가능하게 하는 해석 가능한 시각화 툴을 제공하여 특성 공간 내의 맥락적 관계 패턴을 드러내는 것.

제안 방법

• 노드가 데이터 포인트를 나타내고, 간선이 특성 임베딩 간의 유사도와 호환성을 코딩하는 관계 그래프를 구성한다.
• 유사도 커널(예: 코사인 또는 RBF)과 호환성 항목을 조합하여 관계 강도를 측정하는 데이터 관계 함수를 정의한다.
• 온도 정규화된 그래프 집합을 사용하여 각 데이터 포인트에 대한 전역 관계 통계(평균 및 분산)를 계산한다.
• 할당된 레이블과의 관계에서 분산이 높은 데이터 포인트를 식별함으로써 레이블 오류를 탐지한다.
• 전체 그래프 구조에서 관계 일관성이 낮은 데이터 포인트를 식별함으로써 아웃라이어를 탐지한다.
• 각 샘플의 관계 평균과 분산을 표시하는 데이터 관계 맵 시각화 툴을 도입하여 상호작용 가능한 진단을 가능하게 한다.

실험 결과

연구 질문

• RQ1 특성 임베딩 공간 내의 관계 구조가 단일 점수 기반 지표가 실패하는 상황에서, 레이블 오류와 아웃라이어 데이터를 효과적으로 구분할 수 있는가?
• RQ2 제안된 관계 그래프 접근 방식이 기존의 단일 점수 기반 방법에 비해 레이블 노이즈와 OOD 샘플 탐지에서 어떻게 성능을 발휘하는가?
• RQ3 유사도 커널과 호환성 항목의 선택이 다양한 도메인에서 탐지 성능에 어느 정도 영향을 미치는가?
• RQ4 이 방법이 다양한 모델 아키텍처와 데이터 모odal리티(이미지, 음성, 텍스트) 간에서 일반화 가능한가?
• RQ5 제안된 시각화 툴이 인간이 참여하는 데이터 진단 과정에서 얼마나 효과적인가?

주요 결과

• 제안된 방법은 레이블 오류 탐지에서 SOTA 성능을 달성하였으며, 8% 노이즈 비율에서 ImageNet에서 AP가 0.526을 기록하여 최고의 베이스라인 대비 5.2% 향상되었다.
• 동일한 ImageNet 벤치마크에서 TNR95는 0.695를 기록하여 최고의 베이스라인(0.668)을 뛰어넘으며 더 높은 강건성을 입증하였다.
• ESC-50 및 SST2에서 OOD 탐지에서 SOTA 성능을 달성하였으며, 높은 AUC 및 F1 점수를 기록하여 다양한 모odal리티 간의 일반화 능력을 확인하였다.
• 제거 실험 결과, 커널 함수 내 호환성 항목이 성능에 핵심적인 역할을 함을 입증하였으며, 이를 제거하더라도 강력한 성능을 유지함으로써 프레임워크의 강건성을 강조하였다.
• 데이터 관계 맵 시각화는 뚜렷한 관계 패턴을 효과적으로 드러내었으며, 예를 들어 레이블 오류는 높은 분산, 아웃라이어는 낮은 일관성을 보이며 정확하고 상호작용 가능한 진단을 가능하게 하였다.
• 이 방법은 확장 가능하고 모델에 종속되지 않으며, 단지 특성 임베딩과 예측 결과만 필요로 하여 재학습이나 기울기 계산 없이도 실세계 ML 파이프라인에 쉽게 구현할 수 있다.