[논문 리뷰] Automatic Detection and Classification of Symbols in Engineering Drawings

Sourish Sarkar, Pranav Kumar Pandey외 1명|arXiv (Cornell University)|2022. 04. 28.

Manufacturing Process and Optimization인용 수 12

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망을 사용하여 기계도면 내 기호의 자동 검출 및 분류를 위한 제로샷 딥러닝 프레임워크를 제안한다. 이는 도면 전반에 걸쳐 미세조정된 객체 검출기를 통해 기호를 검출하고, 템플릿 기호와 특징 임베딩을 비교하여 기호를 분류한다. 평가 결과, 검출된 354개 기호 중 172개가 정확하게 분류되었다.

ABSTRACT

A method of finding and classifying various components and objects in a design diagram, drawing, or planning layout is proposed. The method automatically finds the objects present in a legend table and finds their position, count and related information with the help of multiple deep neural networks. The method is pre-trained on several drawings or design templates to learn the feature set that may help in representing the new templates. For a template not seen before, it does not require any training with template dataset. The proposed method may be useful in multiple industry applications such as design validation, object count, connectivity of components, etc. The method is generic and domain independent.

연구 동기 및 목표

• 설계 검증 및 문서화 과정에서 수동 작업을 줄이기 위해 기계도면 내 기호의 자동 검출 및 분류를 실현한다.
• 새로운 기호 유형에 대해 재훈련이 필요 없이 제로샷 분류를 가능하게 하여 도면 간 기호 변형 문제를 해결한다.
• 특징 기반 매칭을 사용하여 미리 정의된 템플릿에 대해 훈련 없이도 작동하는 일반적이고 도메인 독립적인 시스템을 개발한다.
• 도면의 도면설명표를 추출하고 해석하여 기호를 해당 부품 이름과 연관지운다.

제안 방법

• 두 단계 접근법: 첫째, 윤곽선 검출, 윤곽 분석, 템플릿 매칭을 조합하여 텍스트 및 기호적 내용을 식별하여 도면 설명표를 검출한다.
• 이미지 처리 및 자르기 기법을 사용하여 도면설명표에서 기준 기호를 추출하여 템플릿 라이브러리를 구축한다.
• 다양한 기계도면 기호에 대해 YOLO 기반 객체 검출기를 훈련시켜 도면 전반의 기호를 국소화한다.
• 사전 훈련된 딥 네트워크를 특징 추출기로 사용하여 검출된 기호와 템플릿 기호의 64차원 기저 벡터를 생성한다.
• 검출된 기호를 템플릿 기호의 특징 벡터와의 유클리드 거리를 계산하여 가장 가까운 매칭을 할당함으로써 분류한다.
• 모델이 미세조정 없이도 학습된 특징 표현에 의존함으로써 새로운 기호 유형에 일반화할 수 있도록 제로샷 분류 전략을 적용한다.

실험 결과

연구 질문

• RQ1 새로운 기호 유형에 대해 재훈련이 필요 없이 딥러닝 모델이 기계도면 내 기호를 검출할 수 있는가?
• RQ2 사전 훈련된 네트워크를 사용한 특징 기반 매칭이 제로샷 방식으로 기호를 분류하는 데 얼마나 효과적인가?
• RQ3 복잡한 기계도면에서 도면설명표 추출이 기호 분류 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 기호 외관이 도면 간에 크게 다를 경우, 시스템의 기호 검출 및 분류 성능은 어떠한가?

주요 결과

• 11개의 테스트 도면 전반에서 총 354개의 기호가 검출되었으며, 그 중 227개가 정확하게 국소화되었다.
• 검출된 354개 기호 중 172개가 특징 기반 제로샷 접근법을 사용하여 해당 템플릿 기호로 정확하게 분류되었다.
• 기호 검출기는 높은 국소화 정확도를 보였지만, 특히 도면 상단의 복잡하거나 혼잡한 영역에서는 기호를 놓친 경우가 있었다.
• 특징 추출 네트워크는 효과적인 제로샷 분류를 가능하게 하는 분류 가능한 임베딩을 생성했지만, 지도 학습 대비 성능은 열 劣하다.
• 프레임워크는 재훈련 없이도 기호 변형에 강건하고, 새로운 템플릿으로의 일반화 능력이 뛰어났다.
• 주요 제한점은 기호 검출기가 고밀도 또는 저대trast 영역에서 모든 인스턴스를 검출하지 못한다는 점으로, 향상된 검출 기술이 필요함을 시사한다.