[논문 리뷰] Concept Embedding Analysis: A Review

Gesina Schwalbe|arXiv (Cornell University)|2022. 03. 25.

Machine Learning and ELM인용 수 12

한 줄 요약

이 논문은 설명 가능한 AI의 하위 분야인 개념 임베딩 분석(CA)에 대한 종합적인 리뷰를 제시한다. CA는 단순한 모델(예: 개념 활성화 벡터[CAV])를 통해 인간이 이해할 수 있는 의미적 개념(예: '눈', '수염')을 딥 네ural 네트워크(DNN)의 내부 표현과 연결한다. 이 논문은 공식 정의를 수립하고, CA 방법을 분류하기 위한 분류 체계를 제시하며, 30개 이상의 접근 방식을 검토하여 모델 검증, 정규화, 감시 등에의 적용을 강조하면서도, 데이터 부족과 개념 선택과 같은 주요 과제를 밝혀낸다.

ABSTRACT

Deep neural networks (DNNs) have found their way into many applications with potential impact on the safety, security, and fairness of human-machine-systems. Such require basic understanding and sufficient trust by the users. This motivated the research field of explainable artificial intelligence (XAI), i.e. finding methods for opening the "black-boxes" DNNs represent. For the computer vision domain in specific, practical assessment of DNNs requires a globally valid association of human interpretable concepts with internals of the model. The research field of concept (embedding) analysis (CA) tackles this problem: CA aims to find global, assessable associations of humanly interpretable semantic concepts (e.g., eye, bearded) with internal representations of a DNN. This work establishes a general definition of CA and a taxonomy for CA methods, uniting several ideas from literature. That allows to easily position and compare CA approaches. Guided by the defined notions, the current state-of-the-art research regarding CA methods and interesting applications are reviewed. More than thirty relevant methods are discussed, compared, and categorized. Finally, for practitioners, a survey of fifteen datasets is provided that have been used for supervised concept analysis. Open challenges and research directions are pointed out at the end.

연구 동기 및 목표

• 분야 전반에서 일관된 용어 사용을 위해 개념 임베딩 분석(CA)에 대한 공식적이고 일반적인 정의를 수립하기 위해.
• 유형, 입력, 출력, 감독 유형 기반으로 CA 방법 간 체계적인 비교가 가능한 포괄적인 분류 체계를 개발하기 위해.
• 30개 이상의 최신 CA 방법을 검토하고 분류하여 각 방법의 강점과 한계를 강조하기 위해.
• 감독된 CA 연구를 지원하기 위해 개념 레이블이 부여된 15개의 데이터셋을 조사하기 위해.
• 특히 자율 주행과 같은 안전 기반 응용 분야에서의 CA에 있어 열린 과제와 향후 연구 방향을 특정하기 위해.

제안 방법

• 간단한 보조 모델을 사용하여 인간이 이해할 수 있는 의미적 개념을 중간 DNN 표현과 연결함으로써 CA를 공식 정의한다.
• 개념 모델 유형(예: 벡터, 부분공간), 입력 모odal(예: 이미지, 텍스트), 출력 표현, 감독 유형(예: 감독, 약한 감독) 등의 차원을 기반으로 CA 방법을 분류하는 분류 체계를 제안한다.
• NetDissect, CAV, ACE, 개념 봄브스 모델 등을 포함한 30개 이상의 CA 방법을 검토하고 비교하며, 설계, 가정, 성능에 중점을 둔다.
• 개념 출력의 사용을 통해 모델 정규화, 간섭, 검증을 분석하여 안전성 및 공정성 평가에서 실용적 유용성을 입증한다.
• 15개의 데이터셋을 체계적으로 정리하여, 사용 사례와 데이터 특성에 따라 분류함으로써 방법 평가를 지원한다.
• 강력한 비감독 및 선형 CA 방법의 부족과 최소한이면서도 완전한 개념 집합이 필요한 점과 같은 주요 방법론적 격차를 밝혀낸다.

실험 결과

연구 질문

• RQ1 문헌에서 다양한 접근 방식을 통합하기 위해 개념 임베딩 분석은 어떻게 공식적으로 정의될 수 있는가?
• RQ2 CA 방법을 분류하기 위한 핵심 차원은 무엇이며, 입력, 출력, 감독 유형 측면에서 어떻게 다를 수 있는가?
• RQ3 DNN 내부를 전역적으로 해석 가능한 방식으로 분석하는 데 가장 효과적인 CA 방법은 무엇이며, 그 한계는 무엇인가?
• RQ4 CA는 안전 기반 시스템에서 모델 검증, 정규화, 간섭에 어떻게 실용적으로 적용될 수 있는가?
• RQ5 데이터 가용성, 개념 선택, 복잡한 모델로의 확장성 측면에서 CA의 주요 열린 과제는 무엇인가?

주요 결과

• 논문은 CA에 대한 표준화된 정의와 분류 체계를 수립하여 기존 방법 간의 체계적 비교와 위치 매김을 가능하게 하였다.
• 30개 이상의 CA 방법을 검토하고 분류함으로써 감독 유형과 모델 아키텍처 기반으로 명확한 가문이 드러났으며, 개념 봄브스 모델은 인덕티브 바이어스 통합에 유망한 가능성을 보였다.
• 대부분의 CA 방법이 작은 산업용이 아닌 모델에서 평가되기 때문에, 자율 주행과 같은 실제 시스템에의 적용 가능성이 제한됨을 확인하였다.
• 오직 두 가지 방법(스피드, 2021; Schwalbe, 2021)만이 객체 탐지와 같은 복잡한 작업을 다루며, 심지어 대규모 모델으로 확장할 경우 성능 저하가 발생하는 것으로 드러났다.
• 개념 수준의 레이블이 부여된 15개의 데이터셋 목록을 체계적으로 정리하여, CA 방법의 훈련 및 평가를 위한 필수 자원을 제공하였다.
• 주요 열린 과제는 여전히 존재한다: 대규모이고 풍부한 레이블이 부여된 데이터셋의 부족; 비감독 및 선형 CA 방법의 향상 필요; 효과적인 DNN 설명을 위해 최소이면서도 완전한 개념 집합의 선정 필요.