[논문 리뷰] DORA: Exploring Outlier Representations in Deep Neural Networks

Kirill Bykov, Mayukh Deb외 3명|arXiv (Cornell University)|2022. 06. 09.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

DORA는 극단적 활성 신호에서의 활성 패턴을 분석하여 비정상적인 특징을 식별하는 새로운 극단적 활성(Extreme-Activation, EA) 거리 측정법을 사용하는 데이터에 종속되지 않는 프레임워크를 도입한다. 이 방법은 물품 마킹, 아티팩트와 같은 허위 개념을 탐지하며, EA 거리가 인간의 인지와 일치하고 시각 모델에서 바람직하지 않은 표현을 효과적으로 경고함을 보여준다.

ABSTRACT

Deep Neural Networks (DNNs) excel at learning complex abstractions within their internal representations. However, the concepts they learn remain opaque, a problem that becomes particularly acute when models unintentionally learn spurious correlations. In this work, we present DORA (Data-agnOstic Representation Analysis), the first data-agnostic framework for analyzing the representational space of DNNs. Central to our framework is the proposed Extreme-Activation (EA) distance measure, which assesses similarities between representations by analyzing their activation patterns on data points that cause the highest level of activation. As spurious correlations often manifest in features of data that are anomalous to the desired task, such as watermarks or artifacts, we demonstrate that internal representations capable of detecting such artifactual concepts can be found by analyzing relationships within neural representations. We validate the EA metric quantitatively, demonstrating its effectiveness both in controlled scenarios and real-world applications. Finally, we provide practical examples from popular Computer Vision models to illustrate that representations identified as outliers using the EA metric often correspond to undesired and spurious concepts.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 학습한 의도하지 않은 또는 허위 개념을 식별하기 위한 방법의 부족을 해결하기 위해.
• 학습 데이터에 의존하지 않고 내부 표현을 분석하기 위한 데이터에 종속되지 않는 접근법을 개발하기 위해.
• DNN 내 학습된 표현 간 유사성을 측정하기 위한 강력하고 해석 가능한 메트릭을 만들기 위해.
• 실제 모델에서 아티팩트, 편향 또는 백도어와 관련된 비정상적인 표현을 탐지하기 위해.
• 프레임워크가 인간의 인지와 얼마나 일치하는지, 그리고 통제된 환경과 실제 세계 시나리오에서의 효과성을 검증하기 위해.

제안 방법

• 극단적 활성 신호에서의 활성 패턴에 기반해 표현 간 유사성을 평가하기 위해 극단적 활성(Extreme-Activation, EA) 거리 측정법을 제안한다.
• 학습 데이터에 접근할 수 없더라도 표현 관계를 분석할 수 있도록 인위적으로 생성된 활성 최적화 신호(Activation-Maximization Signals, AMS)를 사용한다.
• AMS를 활용해 특정 뉴런을 최대한 활성화시키는 데이터 포인트를 식별함으로써 원본 데이터에 접근하지 않고도 표현 행동을 분석할 수 있도록 한다.
• 표현 아틀라스를 활용해 시각 모델의 각 레이어에서 의미적으로 유사한 표현을 시각화하고 군집화한다.
• 통제된 환경과 실제 세계 설정에서 인간의 인지와 기능적 유사성과의 비교를 통해 EA 거리의 타당성을 검증한다.
• 모델 내부를 체계적으로 탐색하기 위해 DORA(Data-agnOstic Representation Analysis)라는 파이프라인에 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 데이터에 종속되지 않는 방법이 DNN 내에서 허위 또는 비정상적인 개념을 효과적으로 식별할 수 있는가?
• RQ2 EA 거리 측정법이 신경 표현에서 개념적 유사성에 대한 인간의 인지와 얼마나 잘 일치하는가?
• RQ3 EA 거리가 시각 모델에서 알려진 아티팩트, 예를 들어 물품 마킹이나 색깔이 칠해진 밴드에이드를 어느 정도 잘 탐지할 수 있는가?
• RQ4 DNN 내 표현 군집이 지리적 또는 명시적 콘텐츠를 포함한 의미적 개념과 어떻게 대응하는가?
• RQ5 EA 메트릭이 통제 실험에서 삽입된 비정상적인 개념을 탐지하기 위한 강력한 기준이 될 수 있는가?

주요 결과

• EA 거리 측정법은 기저 개념이 알려진 경우 인간의 개념적 유사성 인지와 강력한 일치를 보였다.
• DORA는 실제 시각 모델에서 물품 마킹, 색깔이 칠해진 밴드에이드, 명시적 콘텐츠와 같은 허위 개념에 해당하는 표현을 성공적으로 식별했다.
• 통제된 시나리오에서 EA 메트릭은 삽입된 비정상적인 개념을 효과적으로 탐지하여 이상 탐지의 신뢰할 수 있는 기준을 확립했다.
• 표현 아틀라스를 통해 지리적 지역과 명시적 콘텐츠를 포함한 의미적으로 유사한 표현 군집이 드러났다.
• 프레임워크는 중국어 문자 기반 물품 마킹과 밴드에이드와 같은 아티팩트에 민감한 뉴런을 식별하여 그 존재를 학습된 표현 내에서 확인했다.
• 아티팩트가 원래 학습 데이터에 포함되지 않은 경우에도 이 방법이 효과를 유지함으로써, 활성 패턴에서의 허위 상관관계에 민감함을 입증했다.