[논문 리뷰] Towards Emergent Language Symbolic Semantic Segmentation and Model Interpretability

Alberto Santamaría-Pang, James Kubricht외 3명|arXiv (Cornell University)|2020. 07. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 4

한 줄 요약

이 논문은 송신자와 수신자 에이전트 간의 잠재적 언어 소통을 통해 해석 가능한 의료 영상 분할을 가능하게 하는 상징적 의미 분할 프레임워크 ($\text{S}^2$)를 제안한다. UNet 기반 인코더와 미분 가능한 소통 프로토콜을 사용하여 종양 형태학적 특징을 기술하는 상징적 문장을 생성함으로써, 최신 기법과 경쟁 가능한 성능을 달성하면서도 분할 결정의 직접적 해석이 가능하다.

ABSTRACT

Recent advances in methods focused on the grounding problem have resulted in techniques that can be used to construct a symbolic language associated with a specific domain. Inspired by how humans communicate complex ideas through language, we developed a generalized Symbolic Semantic ($ ext{S}^2$) framework for interpretable segmentation. Unlike adversarial models (e.g., GANs), we explicitly model cooperation between two agents, a Sender and a Receiver, that must cooperate to achieve a common goal. The Sender receives information from a high layer of a segmentation network and generates a symbolic sentence derived from a categorical distribution. The Receiver obtains the symbolic sentences and co-generates the segmentation mask. In order for the model to converge, the Sender and Receiver must learn to communicate using a private language. We apply our architecture to segment tumors in the TCGA dataset. A UNet-like architecture is used to generate input to the Sender network which produces a symbolic sentence, and a Receiver network co-generates the segmentation mask based on the sentence. Our Segmentation framework achieved similar or better performance compared with state-of-the-art segmentation methods. In addition, our results suggest direct interpretation of the symbolic sentences to discriminate between normal and tumor tissue, tumor morphology, and other image characteristics.

연구 동기 및 목표

• 의료 영상 분석에서 모델의 투명성을 보장하는 상징적이고 해석 가능한 분할 프레임워크를 개발하는 것.
• 에이전트 간의 소통 기반 상징적 언어 도입을 통해 딥러닝 기반 분할의 해석성 격차를 해소하는 것.
• 조직 특성에 대한 상징적 문장을 통해 인간이 직접 모델 결정을 해석할 수 있도록 하는 것.
• 해석성을 유지하면서 TCGA 종양 데이터셋에서 경쟁 가능한 분할 성능를 달성하는 것.
• 영상 분할에 의미를 부여하기 위한 기반으로서의 잠재적 언어의 기작을 탐구하는 것.

제안 방법

• UNet 유사 인코더 네트워크가 의료 영상을 처리하고 특징을 송신자 네트워크에 공급한다.
• 송신자는 학습된 어휘 집합에 대한 이산 확률 분포에서 상징적 문장을 생성하며, 이는 의미적 내용을 나타낸다.
• 수신자는 상징적 문장을 디코딩하고 어텐션과 특징 융합을 통해 분할 마스크를 공동 생성한다.
• 송신자와 수신자는 다양한 소통 목표를 통해 엔드 투 엔드로 훈련되며, 이로써 잠재적 언어 학습이 가능해진다.
• 프레임워크는 분할 손실을 최소화하기 위해 협업 훈련을 통해 진화하는 비공개, 작업 특화 언어를 사용한다.
• 상징적 문장은 고수준 특징에서 유도되며, 인간의 해석에 의미 있는 의미를 갖도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 협업하는 두 에이전트 시스템이 비공개 상징적 언어를 사용하여 분할의 해석성을 향상시킬 수 있는가?
• RQ2 모델이 생성한 상징적 문장이 임상의가 정상 조직과 종양 조직을 구분하는 데 직접적으로 해석될 수 있는가?
• RQ3 잠재적 언어 소통을 사용할 경우, 최신 기법과 비교해 분할 성능가 비슷한가?
• RQ4 상징적 표현이 종양 형태학 및 기타 영상 특징을 어느 정도 포괄할 수 있는가?
• RQ5 상징적 출력의 해석성은 블랙박스 어텐션 맵이나 특징 활성화와 비교해 어떻게 다른가?

주요 결과

• $\text{S}^2$ 프레임워크는 TCGA 종양 데이터셋에서 최신 기법과 비교해 유사하거나 더 뛰어난 분할 성능를 달성했다.
• 송신자 네트워크가 생성한 상징적 문장은 인간에 의해 직접 해석 가능했으며, 정상 조직과 종양 조직을 구분하는 데 기여했다.
• 모델는 잠재적 언어를 통해 종양 형태학과 기타 영상 특징을 기술하는 방식으로 의미 기반을 형성했다.
• 송신자와 수신자 에이전트의 협업 훈련을 통해 비공개, 작업 특화 상징적 언어가 유도되었다.
• 성능를 희생시키지 않은 채로 해석성을 달성하여 설명 가능한 의료 AI를 위한 실현 가능한 길을 제시했다.
• 상징적 출력은 기존의 어텐션 맵이나 색채도 맵과 달리 모델의 추론 과정에 대한 의미 있는 통찰을 제공했다.