[논문 리뷰] An Atlas of Cultural Commonsense for Machine Reasoning.

Anurag Acharya, Kartik Talamadupula외 1명|arXiv (Cornell University)|2020. 09. 11.

Topic Modeling참고 문헌 57인용 수 12

한 줄 요약

이 논문은 미국, 인도, 필리핀에서 수집하고 분석한 의식 관련 지식—예를 들어 성년식, 결혼식, 장례식—을 바탕으로 문화적으로 인지하는 공통지식 추론 프레임워크를 제안한다. 기존의 인지적 공통지식 수집 방법을 확장하여 문화적으로 구분되는 관계를 포착함으로써, 문화적 차이가 공통지식에 상당한 영향을 미친다는 것을 입증하며, 문맥적이고 문화적으로 민감한 NLP 시스템을 구축하는 데 기여한다.

ABSTRACT

Existing commonsense reasoning datasets for AI and NLP tasks fail to address an important aspect of human life: cultural differences. In this work, we introduce an approach that extends prior work on crowdsourcing commonsense knowledge by incorporating differences in knowledge that are attributable to cultural or national groups. We demonstrate the technique by collecting commonsense knowledge that surrounds three fairly universal rituals---coming-of-age, marriage, and funerals---across three different national groups: the United States, India, and the Philippines. Our pilot study expands the different types of relationships identified by existing work in the field of commonsense reasoning for commonplace events, and uses these new types to gather information that distinguishes the knowledge of the different groups. It also moves us a step closer towards building a machine that doesn't assume a rigid framework of universal (and likely Western-biased) commonsense knowledge, but rather has the ability to reason in a contextually and culturally sensitive way. Our hope is that cultural knowledge of this sort will lead to more human-like performance in NLP tasks such as question answering (QA) and text understanding and generation.

연구 동기 및 목표

• 기존의 공통지식 추론 데이터셋에서 흔히 볼 수 있는 서양, 특히 미국 중심의 편향을 해결하기 위한 문화적 다양성의 부족 문제를 다루기.
• 성년식, 결혼식, 장례식과 같은 보편적인 의식에 관해 문화 또는 국가 집단 간 공통지식의 차이를 조사하기.
• 기존의 공통지식 수집 방법을 확장하여 표준 이벤트-관계 유형 외의 문화적으로 특화된 관계와 차이를 포함하기.
• 일률적인 공통지식 모델이 아니라 문화적으로 민감한 지식을 기반으로 추론하는 NLP 시스템을 구축하기 위한 기초 마련하기.
• 질의 응답 및 텍스트 이해와 같은 과제에서 더 인간에 가까운 AI 성능을 지원하기 위해, 문화적으로 뿌리를 둔 공통지식을 캡처하는 프로토타입 데이터셋과 방법론 기여하기.

제안 방법

• 미국, 인도, 필리핀의 세 국가 집단을 대상으로 성년식, 결혼식, 장례식과 같은 세 가지 보편적인 의식에 초점을 맞춘 공동체 기반 데이터 수집 작업 수행.
• 표준 공통지식 범주(예: '유도함', '방지함')를 초월해 사회적 의무, 종교적 관습, 지역적 관행과 같은 문화적으로 특화된 연결 고리를 포착하기 위해 새로운 관계 유형 설계 및 적용.
• 각 문화 집단의 모국어 사용자로부터 지식을 수집하기 위해 구조화된 주석 프로토콜를 사용하여 현지 규범과 전통의 표현 보장.
• 국가 집단 간 수집된 지식를 분석하고 비교하여 의식이 어떻게 이해되고 경험되는지에 대한 체계적 차이를 규명하기.
• 기존의 일률적인 공통지식 모델을 넘어서 문화적으로 맥락화된 지식을 기반으로 기계 추론을 지원하는 프레임워크에 데이터 통합하기.
• 문화적 다양성을 반영한 의식 이벤트에 대한 추론이 가능한 모델을 훈련 및 평가하기 위해 데이터셋 활용하기.

실험 결과

연구 질문

• RQ1 성년식, 결혼식, 장례식과 같은 보편적인 의식에 관해 문화 또는 국가 집단 간 공통지식의 차이는 어떻게 다를까?
• RQ2 이전의 서양 중심 데이터셋에서 확인된 바가 없는, 다양한 문화적 맥락에서 공통지식을 수집할 때 새로운 관계 유형은 무엇이 나타나는가?
• RQ3 문화적 규범과 지역적 관행이 사람들이 일상생활에서 사회적 의식에 대해 어떻게 추론하는지에 얼마나 큰 영향을 미치는가?
• RQ4 문화적으로 인지하는 공통지식 기반은 질문 응답 및 텍스트 생성과 같은 NLP 과제에서 시스템 성능을 향상시킬 수 있는가?
• RQ5 일반화된 서양 중심의 인간 지식 모델을 가정하지 않고, 공통지식 추론 프레임워크를 어떻게 문화적 다양성을 수용하도록 확장할 수 있는가?

주요 결과

• 미국, 인도, 필리핀에서 성년식, 결혼식, 장례식과 같은 보편적인 의식에 대해 이해하고 관련 지식을 구성하는 방식에서 뚜렷한 문화적 차이를 관찰하였다.
• 이전의 서양 중심 데이터셋에 없었던, 종교적 의무, 가족 역할, 지역 관습과 같은 문화적 특수성을 반영하는 새로운 관계 유형이 데이터에서 도출되었다.
• 보편적으로 인정받는 의식이라도 관련된 사회적, 정서적, 실용적 차원이 문화 간에 상당히 다름을 드러내었다.
• 프로토타입 연구는 목표 지향적 공동체 기반 수집을 통해 문화적으로 뿌리를 둔 공통지식를 체계적으로 수집할 수 있음을 성공적으로 입증하였으며, 이 방법론의 타당성을 검증하였다.
• 이 데이터셋은 공통지식 추론에서 엄격한 보편적 가정을 넘어서 문화적 맥락을 고려한 NLP 모델 훈련을 위한 기초를 제공한다.
• 결과적으로 공통지식에 문화적 다양성을 통합하면 질문 응답 및 텍스트 생성과 같은 NLP 과제에서 더 인간에 가까운 성능을 달성할 수 있음을 시사한다.