[논문 리뷰] OCR Graph Features for Manipulation Detection in Documents

Hailey James, Otkrist Gupta외 1명|arXiv (Cornell University)|2020. 09. 10.

Digital Media Forensic Detection참고 문헌 23인용 수 5

한 줄 요약

이 논문은 OCR에서 유도된 특징을 사용하여 문서 변조를 탐지하기 위한 데이터 기반, 그래프 기반 접근법을 제안한다. 문자의 경계 상자들을 그래프의 노드로 간주하고, 무작위 숲 분류기를 훈련시켜 픽셀 수준의 변경, 복사-붙여넣기, 또는 복합 조작과 같은 위조 흠결을 식별한다. 이 방법은 이전의 절차적 모델보다 뛰어나며, 1~5 픽셀 이동이나 7% 스케일링과 같은 미세한 변조에서도 높은 정밀도(0.87)와 F1 점수(0.80)를 달성한다.

ABSTRACT

Detecting manipulations in digital documents is becoming increasingly important for information verification purposes. Due to the proliferation of image editing software, altering key information in documents has become widely accessible. Nearly all approaches in this domain rely on a procedural approach, using carefully generated features and a hand-tuned scoring system, rather than a data-driven and generalizable approach. We frame this issue as a graph comparison problem using the character bounding boxes, and propose a model that leverages graph features using OCR (Optical Character Recognition). Our model relies on a data-driven approach to detect alterations by training a random forest classifier on the graph-based OCR features. We evaluate our algorithm's forgery detection performance on dataset constructed from real business documents with slight forgery imperfections. Our proposed model dramatically outperforms the most closely-related document manipulation detection model on this task.

연구 동기 및 목표

• 접근 가능한 이미지 편집 도구로 인해 증가하는 디지털 문서 위조 문제를 해결하기 위해.
• 문서의 미세한 변조를 탐지하는 데에 한계가 있는 절차적이고 수작업으로 캘리브레이션된 방법의 한계를 극복하기 위해.
• 디지털 문서의 구조적 특성을 활용하는 일반화 가능한 데이터 기반 접근법을 개발하기 위해.
• 현실적인 데이터셋을 통해 실제 세계의 위조 흠결, 예를 들어 이동과 스케일링을 시뮬레이션하여 성능을 평가하기 위해.
• 그래프 기반 OCR 특징이 기존 방법보다 탐지 정확도를 향상시킨다는 것을 입증하기 위해.

제안 방법

• 각 문자를 그래프의 노드로 모델링하고, 인접 문자와의 공간적 및 문체적 관계를 간선으로 표현한다.
• OCR 경계 상자에서 크기, 거리, 정렬, 인접 문자에 대한 상대적 위치 등 다양한 그래프 특징을 추출한다.
• 이러한 그래프 기반 특징을 기반으로 무작위 숲 분류기를 훈련시어 진위 문자를 구분한다.
• 실제 영업 문서의 커스터마이징된 데이터셋을 사용하여 모델을 평가하며, 픽셀 수준의 변경, 복사-붙여넣기, 복합 조작 등의 합성 변조가 포함되어 있다.
• 텍스처나 픽셀 기반 아티팩트를 최소화하면서 이동과 스케일링을 시뮬레이션하여 위조 흠결을 고립시키도록 데이터셋을 설계한다.
• 마할라노비스 임계값과 로그 변환된 후후 모멘트와 같은 하이퍼파라미터를 조정하여 모델 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 데이터 기반, 그래프 기반 접근법이 절차적 방법보다 미세한 문서 변조를 탐지하는 데에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 OCR에서 유도된 그래프 특징은 정렬 불일치나 일관되지 않은 스케일링과 같은 위조 흠결을 식별하는 데 얼마나 효과적인가?
• RQ3 문서의 구조적 레이아웃을 활용할 경우 픽셀 기반 또는 텍스처 기반 방법보다 탐지 성능이 향상되는가?
• RQ4 이 모델은 이동과 스케일링을 포함한 다양한 종류의 변조에 대해 얼마나 일반화되는가?
• RQ5 최소한의 수정을 탐지할 때도 높은 정밀도와 낮은 거짓 양성률을 유지할 수 있는가?

주요 결과

• 15~25%로 확대된 5%의 문자를 탐지할 때 제안된 모델은 정밀도 0.8651 ± 0.0134와 F1 점수 0.8012 ± 0.0181를 기록하며, 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 1~5 픽셀 이동에 대해서도 정밀도 0.8604 ± 0.0101과 F1 점수 0.7512 ± 0.0121를 유지하여 미세한 변조에 대한 강력한 탐지 능력을 입증했다.
• 기준 모델(Bertrand et al., 2013)은 동일한 스케일링 작업에서 F1 점수 0.4265 ± 0.0170에 그쳐, 제안된 방법의 우수성을 입증했다.
• 15~25% 스케일링 작업에서 높은 정확도(0.9857 ± 0.0112)를 기록하여, 분할 간에 강력한 일반화 능력을 보였다.
• 기준 모델은 더 높은 재현율(0.7862 ± 0.0170)을 보였지만, 정밀도(0.2927 ± 0.0144)는 극도로 낮아 거짓 양성률이 높다는 것을 시사했다.
• 결과적으로 더 큰 변조는 동일한 줄에 있는 문자를 정확히 구분하는 데 모델의 능력을 손상시킬 수 있으며, 이는 공간적 관계가 변화했기 때문일 수 있다.