[논문 리뷰] Towards Grad-CAM Based Explainability in a Legal Text Processing Pipeline

Łukasz Górski, Shashishekar Ramakrishna외 1명|arXiv (Cornell University)|2020. 12. 15.

Artificial Intelligence in Law인용 수 5

한 줄 요약

이 논문은 컴퓨터 비전 해석 가능성 기법인 Grad-CAM을 법적 텍스트 처리 파이프라인에 적용한 최초의 사례를 제시한다. 컨volutional 신경망(CNN)에 대해 Grad-CAM을 조정하여 법적 텍스트에서 다양한 워드 임베딩(예: DistilBERT, word2vec, Law2Vec)이 모델의 주의 분포와 예측에 어떤 영향을 미치는지 분석함으로써, DistilBERT가 입력 문장 전반에 걸쳐 넓은 주의를 기울이는 반면, Grad-CAM 유도 정제를 통해 입력 데이터를 줄여도 모델 정확도를 유지할 수 있음을 입증한다.

ABSTRACT

Explainable AI(XAI)is a domain focused on providing interpretability and explainability of a decision-making process. In the domain of law, in addition to system and data transparency, it also requires the (legal-) decision-model transparency and the ability to understand the models inner working when arriving at the decision. This paper provides the first approaches to using a popular image processing technique, Grad-CAM, to showcase the explainability concept for legal texts. With the help of adapted Grad-CAM metrics, we show the interplay between the choice of embeddings, its consideration of contextual information, and their effect on downstream processing.

연구 동기 및 목표

• 법적 텍스트 처리 파이프라인에 대해 Grad-CAM을 사후 해석 가능성 방법으로 도입하기.
• 다양한 워드 임베딩(컨텍스트 기반 대비 비컨텍스트 기반)이 법적 텍스트 분류에서 CNN의 주의 패턴에 어떤 영향을 미치는지 평가하기.
• 임베딩 간 주의 분포의 범위를 정량화하고 비교하기 위한 메트릭을 개발하기.
• Grad-CAM 기반 주의 지도 하에 단어 선택을 통한 데이터 최적화 탐색하여 입력 크기를 줄이되 정확도를 유지하기.
• 미래의 해석 가능성과 법적 결정의 투명성(지식론적 시각) 통합을 위한 기반 마련하기.

제안 방법

• CNN에 의해 처리되는 법적 텍스트 입력에 대해 클래스 활성화 히트맵을 생성하기 위해 Grad-CAM을 조정한다.
• Grad-CAM 히트맵에 이진화 임계값(예: 0.15)을 적용하여 예측에 기여하는 주요 단어를 식별한다.
• 테스트 문장 전반에 걸쳐 CNN이 예측을 위해 고려하는 입력 토큰의 평균 비율을 계산하기 위해 메트릭 $\mathcal{F}(t)$ 를 정의한다.
• Grad-CAM 주의 기반 화이트리스트 전략을 도입하여 추론 시에 높은 주의를 기울이는 단어만 포함된 문장으로 입력을 필터링한다.
• 전체 입력과 Grad-CAM 최적화된 입력 간의 모델 성능(정확도)을 비교하여 데이터 효율성 평가한다.
• 주의 분포의 확산과 일치도를 정량화하기 위해 메트릭 $\mathcal{F}(t)$ 와 $\mathcal{I}$ (Jaccard 지수) 를 적용한다.

실험 결과

연구 질문

• RQ1 워드 임베딩의 선택(예: DistilBERT, word2vec, Law2Vec)이 법적 텍스트에서 CNN의 주의 분포에 어떤 영향을 미치는가?
• RQ2 Grad-CAM 기반 주의 맵은 컨텍스트 기반과 비컨텍스트 기반 임베딩 간의 컨텍스트 처리 방식의 차이를 법적 NLP에서 드러낼 수 있는가?
• RQ3 Grad-CAM을 통해 법적 문장 내에서 가장 주목할 만한 단어를 식별하고 추출하는 데 얼마나 효과적으로 활용할 수 있는가?
• RQ4 Grad-CAM에 기반한 주요 단어만 포함된 문장으로 입력을 정제하면 법적 텍스트 분류 작업에서 모델 정확도가 유지되는가?
• RQ5 제안된 메트릭은 자원이 제한된 또는 준지도 학습 기반의 법적 NLP 환경에서 임베딩 품질 평가를 위한 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• DistilBERT 임베딩이 가장 높은 평균 $\mathcal{F}(t)$ 값을 기록하여, word2vec과 Law2Vec에 비해 입력 문장 전반에 걸쳐 더 넓은 주의를 기울임을 나타낸다.
• word2vec과 Law2Vec는 높은 $\mathcal{I}$ 메트릭(Jaccard 지수)을 통해 유사한 주의 패턴을 보이며, 유사한 주의 행동을 보임을 입증한다.
• Grad-CAM 유도 정제를 통해 입력을 줄여도 모델 정확도를 유지한다—PTSD-word2vec(GoogleNews)의 경우 0.7, PTSD-DistilBERT의 경우 0.85의 정확도를 달성한다.
• 이 방법을 통해 각 문장의 주요 단어를 식별할 수 있었으며, 이는 데이터 파이프라인 최적화와 계산 부하 감소 가능성을 열어준다.
• 제안된 메트릭 $\mathcal{F}(t)$ 와 $\mathcal{I}$ 는 주의 커버리지와 일관성 측면에서 임베딩 모델 간 비교를 위한 정량적 근거를 제공한다.
• 결과적으로 Grad-CAM은 법적 임베딩의 컨텍스트 의존성 분석 도구로 기능할 수 있으며, 모델의 해석 가능성과 최적화를 지원한다.