[논문 리뷰] Examining CNN Representations with respect to Dataset Bias

Quanshi Zhang, Wenguan Wang외 1명|arXiv (Cornell University)|2017. 10. 29.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 8

한 줄 요약

이 논문은 테스트 데이터가 필요 없이 사전 훈련된 CNN의 편향된 특징 표현을 진단하기 위한 방법을 제안한다. 내부 특징 패턴에서 속성 간 관계를 추출하고, 인간이 애너테이션한 기준 관계와 KL 발산을 사용해 비교함으로써, 데이터셋 편향으로 인한 맹점과 실패 모드를 효과적으로 식별한다. 이 방법은 엔트로피 기반 베이스라인보다 실패 모드 샘플에서의 정확도 저하를 더 잘 탐지한다.

ABSTRACT

Given a pre-trained CNN without any testing samples, this paper proposes a simple yet effective method to diagnose feature representations of the CNN. We aim to discover representation flaws caused by potential dataset bias. More specifically, when the CNN is trained to estimate image attributes, we mine latent relationships between representations of different attributes inside the CNN. Then, we compare the mined attribute relationships with ground-truth attribute relationships to discover the CNN's blind spots and failure modes due to dataset bias. In fact, representation flaws caused by dataset bias cannot be examined by conventional evaluation strategies based on testing images, because testing images may also have a similar bias. Experiments have demonstrated the effectiveness of our method.

연구 동기 및 목표

• 기존 평가 방법이 테스트 데이터의 편향으로 인해 실패할 때, 사전 훈련된 CNN의 편향된 특징 표현을 진단하는 데 있어 핵심 과제를 해결하기 위해.
• 표준 정확도 지표로는 감지되지 않는, 데이터셋 편향으로 인한 표현 결함(맹점 및 실패 모드 포함)을 식별하기 위해.
• 테스트 샘플에 의존하지 않고, 훈련 데이터와 인간이 애너테이션한 속성 관계만을 사용해 CNN 표현을 진단하는 방법을 개발하기 위해.

제안 방법

• 사전 훈련된 CNN의 중간 합성곱 레이어에서 추론 패턴을 추출하여 속성 특수화된 특징을 표현한다.
• 이러한 추출된 패턴의 동시 발생을 기반으로 쌍별 속성 관계(양성, 음성, 또는 중립)를 계산한다.
• 일상 지식을 반영한 인간 애너테이션 규칙을 사용해 기준 관계를 정의한다(예: '검은 머리카락'과 '웃는 얼굴'은 관련이 없다).
• 추출된 관계와 기준 관계 간의 괴리 정도를 측정하기 위해 Kullback-Leibler (KL) 발산을 사용하여 표현 결함을 탐지한다.
• 높은 KL 발산 값은 맹점 및 실패 모드를 포함한 잘못 학습된 표현을 나타내는 지표로 사용한다.
• 특정 작업에 맞게 조정 가능한 기준 관계 정의를 지원하여 다양한 적용 분야와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 테스트 샘플을 전혀 사용하지 않고도 데이터셋 편향으로 인한 CNN 표현 결함을 탐지할 수 있는가?
• RQ2 CNN 내부의 특징 패턴을 어떻게 활용해 속성 간 관계를 추론하고 편향된 표현을 드러낼 수 있는가?
• RQ3 추출된 관계와 기준 관계 간의 KL 발산은 실제로 CNN 예측의 실패 모드와 얼마나 관련이 있는가?
• RQ4 이 방법은 데이터셋 편향 하에서 실패 모드를 식별하는 데 있어 엔트로피 기반 베이스라인을 초월할 수 있는가?
• RQ5 인지에 부합하는 인간 애너테이션 기반의 속성 관계는 어떻게 CNN 표현 진단을 위한 신뢰할 수 있는 제약 조건이 될 수 있는가?

주요 결과

• 우리 방법은 CelebA 데이터셋의 상위 5개 실패 모드에서 평균 33.59%의 정확도 감소를 탐지했으며, 엔트로피 기반 방법(13.73% 감소)보다 뚜렷이 뛰어나다.
• SUN 속성 데이터베이스에서는 상위 40개 실패 모드에서 평균 29.68%의 정확도 감소를 기록했으며, 엔트로피 기반 베이스라인(27.47% 감소)보다 높았다.
• KL 발산을 통해 식별된 상위 10개 맹점에는 '풀은 인공 구조물과 관련이 없다' 및 '잎은 주로 수직 성분과 관련이 없다'와 같은 관계가 포함되어 있었으며, 이는 의미론적 기대와 일치한다.
• 이 방법은 정확도가 편향된 테스트 세트에서 높게 유지되더라도, '웃는 얼굴'이나 '검은 머리카락'과 같은 속성을 위해 관련 없는 시각적 맥락(예: 눈 또는 코 특징)을 사용하는 실패 모드를 성공적으로 드러냈다.
• 실험 결과, 높은 KL 발산 값은 실패 모드 샘플에서의 실제 성능 저하와 강하게 상관되었으며, 이는 본 방법의 진단 능력을 검증한다.
• 간접적이거나 모호한 속성 관계에 대해서도 강건한 성능을 보이며, 신뢰할 수 없는 기준 관계 쌍을 제외함으로써 오진을 방지할 수 있다.